位置エンコーディング

位置エンコーディングとは、単語が何番目にあるかという順序の情報を、ベクトルとして入力に加える仕組みです。

Self-Attention は系列全体を同時に見るため、そのままでは語の並び順が分かりません。「私が君を見た」と「君が私を見た」を区別できるよう、位置の情報を明示的に足します。

Transformer が順番を扱えるのはこの仕組みのおかげで、三角関数を使う方式や学習で獲得する方式があります。