言語モデル

言語モデルとは、それまでの単語の並びから次に来る単語の確率を予測するモデルのことです。生成 AI の土台にあたります。

予測した単語を並びの末尾に加え、また次を予測する。これをくり返すだけで文章が生まれます。文章生成という複雑に見える働きが、単純な予測の反復で成り立っている点が要点です。

規模を大きくしていくと翻訳や要約、推論までこなせるようになったことが、現在の生成 AI の出発点になりました。