スケーリング則（Scaling Laws）

スケーリング則とは、モデルの大きさ・データ量・計算量を増やすほど性能が上がるという、経験的に見いだされた法則のことです。

三者をバランスよく増やすと性能の伸びがある程度予測できると分かり、この見通しが立ったことで、巨額の投資を伴う大規模化に踏み切れるようになりました。

ただし際限なく続くとは限らず、データの枯渇や電力の制約が壁として意識され始めています。