ハルシネーション（Hallucination）

ハルシネーションとは、事実でない内容をもっともらしい文章として生成してしまう現象のことです。

言語モデルは事実を調べているのではなく、次に来そうな単語を確率で選んでいるにすぎません。それらしく続く語を並べた結果、実在しない論文や誤った数値が生まれます。

仕組みに由来する性質のため完全には避けられません。外部の情報を参照させるなどの対策と、出力を確認する運用が必要になります。