二重降下現象

二重降下現象とは、モデルを大きくしていくと誤差がいったん下がったあとで悪化し、さらに大きくすると再び下がっていくという不思議な現象です。

従来は「モデルが複雑すぎると過学習して性能が落ちる」と考えられていましたが、そこを越えてさらに巨大にすると性能が戻ることが分かってきました。

巨大な大規模言語モデルがうまく機能する背景として注目されている、比較的新しい知見です。