Attention

Attention とは、出力を作るときに入力のどの部分を重視すべきかを、重みとして計算する仕組みです。

翻訳で「猫」という語を出力する瞬間には入力の cat に強く注目する、といった対応づけが自動的に学習されます。人が文章を読むとき関係する箇所へ目を向けるのと同じ発想です。

入力全体を 1 つのベクトルに押し込める必要がなくなり、長い系列でも情報が失われにくくなりました。