L0正則化

L0 正則化とは、使っている特徴量の個数そのものに罰則を与え、できるだけ少ない特徴量で説明させようとする方法です。

重みがゼロでないものを数えて罰するため、本当に必要な特徴だけが残るという理想的な性質を持ちます。

ただし個数を数える計算は組み合わせが膨大になり現実的に解けないため、実際にはこれを近似した L1 正則化が使われます。