ホーム / ディープラーニングの要素技術 / Attention / バリュー

269

バリュー

ディープラーニングの要素技術Attention

バリューとは、キーと対になっていて、実際に取り出される中身にあたるベクトルです。

辞書でいえば、見出し語に対する説明文の部分です。クエリとキーの照合で決まった重みに従って、複数のバリューが混ぜ合わされ出力になります。

「どれを見るか」を決めるのがキーとクエリ、「何を持ってくるか」がバリュー、という役割分担になっています。