Attention Model在Image Caption、Machine Translation、Speech Recognition等領域上有著不錯的結果。那么什么是Attention Model呢？舉個例子，給下面這張圖片加字幕（Image Caption）：一只黃色的小貓帶著一個鹿角帽子趴在沙發上。可以發現在翻譯的過程中我們的注意力由小貓到鹿角帽子再到沙發（小貓→鹿角帽子→沙發）。其實在很多和時序有關的事情上，人類的注意力都不是一成不變的，隨著事情（時間）發展，我們的注意力不斷改變。