リッジ回帰

リッジ回帰とは、線形回帰に L2 正則化を組み合わせた手法です。

重み全体をなめらかに小さく抑えるため、似た特徴量が複数あって重みが不安定になるような場面でも、落ち着いた予測ができます。重みがゼロになることは少なく、すべての変数が少しずつ効いた式になります。

特徴量を絞り込みたいならラッソ回帰、全体を安定させたいならリッジ回帰、というように使い分けます。