交差エントロピー

交差エントロピーとは、モデルが出した確率分布と正解の分布がどれだけ食い違っているかを測る誤差関数です。

たとえば正解が「猫」なのにモデルが猫である確率を 0.1 としか答えなかった場合、大きな誤差として扱われます。自信を持って間違えるほど罰が大きくなる仕組みです。

ソフトマックス関数と組み合わせて、分類問題の標準的な誤差関数として使われます。