クエリ

クエリとは、Attention において「いま何を知りたいのか」を表すベクトルです。

辞書を引くときに手元にある、探したい語にあたります。これを各キーと照らし合わせ、似ているものほど大きな重みが与えられます。

出力側の状態から作られることが多く、Self-Attention では入力自身から作られます。