GPT-3

GPT-3 とは、パラメータ数を 1750 億まで拡大した大規模言語モデルです。2020 年に発表されました。

特筆すべきは、タスクごとの再学習をしなくても、いくつか例を示すだけで翻訳や要約、プログラム生成までこなせた点です。この性質は文脈内学習と呼ばれます。

規模がある水準を超えると新しい能力が現れることを示し、生成 AI ブームの直接の起点となりました。