Self-Attention

Self-Attention とは、ひとつの系列の中で、各要素が同じ系列の他の要素にどれだけ注目するかを計算する Attention です。

「それ」が何を指すのかを判断するように、文中の単語どうしの関係を直接結びつけられます。離れた語どうしでも 1 回の計算で関係を捉えられる点が RNN と大きく違います。

系列を順番に処理する必要がないため並列計算に向いており、Transformer の中核をなす仕組みです。