Grad-CAM

Grad-CAM とは、画像分類のモデルが判断のときに画像のどこを見ていたかを、ヒートマップとして可視化する手法です。

犬と判定した根拠が本当に犬の体なのか、それとも背景の芝生なのかを目で確かめられます。的外れな場所を見ていれば、学習データの偏りに気づけます。

モデルの中身を書き換えずに使え、結果が直感的に分かるため、画像分野で最もよく使われる解釈手法のひとつです。