ホーム / ディープラーニングの要素技術 / Attention / バリュー
269
バリュー
ディープラーニングの要素技術Attention
バリューとは、キーと対になっていて、実際に取り出される中身にあたるベクトルです。
辞書でいえば、見出し語に対する説明文の部分です。クエリとキーの照合で決まった重みに従って、複数のバリューが混ぜ合わされ出力になります。
「どれを見るか」を決めるのがキーとクエリ、「何を持ってくるか」がバリュー、という役割分担になっています。
ホーム / ディープラーニングの要素技術 / Attention / バリュー
バリューとは、キーと対になっていて、実際に取り出される中身にあたるベクトルです。
辞書でいえば、見出し語に対する説明文の部分です。クエリとキーの照合で決まった重みに従って、複数のバリューが混ぜ合わされ出力になります。
「どれを見るか」を決めるのがキーとクエリ、「何を持ってくるか」がバリュー、という役割分担になっています。