GPT-2

GPT-2 とは、GPT のパラメータ数とデータ量を大幅に増やした後継モデルです。2019 年に発表されました。

15 億のパラメータを持ち、与えた書き出しから自然な文章を続けられる性能を示しました。当初は悪用の懸念から段階的に公開されたことでも話題になりました。

規模を大きくするだけで性能が伸びるという方向性を裏づけ、以降の大規模化競争の起点となりました。