KL情報量

KL 情報量とは、2 つの確率分布がどれだけ違っているかを測る指標です。カルバック・ライブラー情報量とも呼ばれます。

値が 0 に近いほど 2 つの分布は似ており、離れるほど違うことを意味します。距離に似ていますが、比べる順番を入れ替えると値が変わる点が普通の距離とは異なります。

交差エントロピーと深く関係しており、生成モデルや分布の近似を扱う場面でくり返し登場する重要な指標です。