大規模言語モデルの知識

大規模言語モデルの知識とは、膨大なテキストの学習を通じてモデルが身につけた、幅広い分野の知識のことです。

歴史や科学、法律や文化まで辞書を引くように答えられます。ただしこの知識は重みの中に分散して埋め込まれており、どこに何があるかを取り出して確かめることはできません。

知識の量とその正確さは別の問題です。誤りが混じっていても見分けがつかない点に注意が要ります。