言語モデル

言語モデルとは、ある単語の並びのあとに、次はどの単語が来やすいかを確率として予測するモデルです。

スマートフォンの予測変換のように「今日は」の次に「晴れ」が来る確率を計算します。この予測をひたすら続ければ、文章を書き続けることもできます。

単純に見えますが、この仕組みを巨大化したものが GPT などの大規模言語モデルであり、現在の生成 AI の土台になっています。