セキュリティ

セキュリティとは、生成 AI が攻撃されたり不正に使われたりすることへの安全性の問題です。

仕込んだ指示で制限を回避させる、外部から読み込ませた文書に指示を紛れ込ませる、モデルや学習データを盗み出すといった手口があります。従来のシステムにはなかった攻撃面です。

入力の検査、権限の最小化、出力の点検を組み合わせ、多層で守る設計が求められます。