モデルのパラメータ数

モデルのパラメータ数とは、学習によって調整される重みの個数のことで、モデルの規模を表す指標です。

大規模言語モデルでは数十億から数千億に達します。多いほど複雑な関係を表現でき、性能が高くなりやすい傾向があります。

一方で学習と実行に必要な計算資源も増えます。近年はむやみに増やすのではなく、データの質や学習の効率と組み合わせて考える方向へ移っています。