データセットのサイズ

データセットのサイズとは、学習に使うデータの量のことです。

大規模言語モデルでは、膨大な量のテキストが使われます。パラメータを増やしてもデータが足りなければ性能は伸びず、両者の釣り合いが重要とされています。

Web 上の良質なテキストには限りがあるため、いずれ枯渇するとの指摘もあり、データの使い方の工夫が課題になっています。