ELMo

ELMo とは、同じ単語でも文脈に応じて異なるベクトルを割り当てる分散表現の手法です。

word2vec では「バンク」に 1 つのベクトルしか与えられませんが、ELMo は前後の文を読んだうえで、銀行の意味か土手の意味かに応じた表現を作ります。

双方向の LSTM を使って文脈を取り込む仕組みで、文脈を踏まえた表現という考え方を広め、BERT へとつながりました。