モデル汚染

モデル汚染とは、学習に使うデータへ不正なデータを混ぜ込み、モデルを意図的に劣化させたり誤動作させたりする攻撃です。

特定の模様が写っているときだけ誤判定するよう仕込む、といった手口が知られています。普段は正常に動くため発見が難しくなります。

Web から集めたデータや利用者の入力を学習に使う仕組みでは特に警戒が必要で、データの出どころの確認が重要になります。