Multi-Head Attention

Multi-Head Attention とは、Attention を 1 回だけでなく複数並列に行い、それぞれの結果をまとめる仕組みです。

あるヘッドは文法的な係り受けに、別のヘッドは意味の近さに注目するというように、異なる観点を同時に捉えられます。ひとつの見方に偏らずに済みます。

Transformer では標準的に組み込まれており、表現力を高める重要な工夫となっています。