相互情報量

相互情報量とは、2 つの変数が互いにどれだけ情報を共有しているかを表す指標です。

片方の値を知ることで、もう片方についての不確かさがどれだけ減るかを測ります。値が 0 であれば、両者は独立していることを意味します。

直線的な関係しか測れない相関係数と違い、どのような形の関係でもとらえられる点が強みで、特徴量の選択などに使われます。