ホーム / ディープラーニングの要素技術 / Attention / Encoder-Decoder Attention

271

Encoder-Decoder Attention

ディープラーニングの要素技術Attention

Encoder-Decoder Attention とは、エンコーダが作った表現をデコーダが参照するための Attention です。

中身は Source-Target Attention とまったく同じもので、Transformer の構造の中での役割に着目した呼び方です。デコーダ側からエンコーダ側へ問い合わせる橋渡しをします。

呼び名が 2 つあるだけで別の技術ではない、という点を押さえておけば混乱しません。