敵対的プロンプト

敵対的プロンプトとは、本来は応じないはずの不適切な出力を引き出そうとする、悪意のある指示のことです。

架空の設定を与えて制限を外させる、これまでの指示を無視するよう命じる、といった手口が知られています。外部から読み込ませた文書に指示を隠す手法もあります。

言葉による攻撃のため完全には防ぎきれず、入力と出力の両方を検査する備えが必要になります。