正則化

正則化とは、モデルが複雑になりすぎないように誤差関数へ罰則を加え、過学習を抑える手法のことです。

訓練データに合わせ込みすぎたモデルは、重みが極端に大きな値をとりがちです。そこで重みの大きさに応じた罰則を足し、必要以上に複雑にならないよう誘導します。

L1 正則化・L2 正則化が代表例で、ドロップアウトや早期終了も広い意味では同じ「過学習を防ぐ工夫」の仲間です。