L2正則化

L2 正則化とは、重みを二乗した値の合計に応じた罰則を誤差関数へ加える方法です。

大きな重みほど強く罰せられるため、特定の特徴だけに頼らず、全体の重みをまんべんなく小さく抑える働きをします。重みがちょうどゼロにはなりにくいのが特徴です。

L1 が「特徴を選ぶ」のに対し、L2 は「全体をならす」と覚えると区別しやすくなります。これを回帰に使ったものがリッジ回帰です。