ホーム / ディープラーニングの要素技術 / Attention / Encoder-Decoder Attention
271
Encoder-Decoder Attention
ディープラーニングの要素技術Attention
Encoder-Decoder Attention とは、エンコーダが作った表現をデコーダが参照するための Attention です。
中身は Source-Target Attention とまったく同じもので、Transformer の構造の中での役割に着目した呼び方です。デコーダ側からエンコーダ側へ問い合わせる橋渡しをします。
呼び名が 2 つあるだけで別の技術ではない、という点を押さえておけば混乱しません。