BERT

BERT とは、文を前からも後ろからも同時に読むことで、文脈を双方向にとらえる事前学習済み言語モデルです。2018 年に Google が発表しました。

文中の単語をランダムに隠して当てさせる穴埋め問題を大量に解かせることで、言葉の使われ方を学習します。Transformer のエンコーダ部分を使っています。

文の意味を読み取るタスクで当時の記録を軒並み更新し、検索エンジンにも応用されました。