アテンション（Attention）

アテンションとは、入力のどの部分に注目すべきかを重み付けして計算する仕組みのことです。

長い文章を読むとき、いま扱っている語に関係する箇所へ重点的に目を向けるのと同じ働きをします。離れた位置にある語どうしの関係も直接とらえられます。

この仕組みだけでモデルを組み立てられると分かり、トランスフォーマーが生まれました。生成 AI の性能を支える中核の技術です。