GPT

GPT とは、大量のテキストで事前学習し、次の単語を予測し続けることで文章を生成するモデルです。2018 年に OpenAI が発表しました。

Transformer のデコーダ部分を使い、前から順に読んで次を予測します。双方向に読む BERT とは対照的な設計です。

この「ひたすら次の単語を当てる」という単純な学習が、規模を大きくすることで驚くほど幅広い能力を生むことが、以降の世代で示されていきます。