キー

キーとは、Attention において入力側の各要素を「検索される見出し」として表したベクトルです。

辞書でいえば見出し語にあたります。クエリと照らし合わせて、どの要素がどれくらい関係するかという重みが計算されます。

キー・クエリ・バリューの 3 つは必ずセットで登場します。「見出し・探し物・中身」と対応づけて覚えると整理しやすくなります。