ひとことで言うと
悪意ある入力で AI の指示を上書きする攻撃。Webサイト等で警戒が必要。
プロンプトインジェクションは、AIに与える指示文(プロンプト)に悪意ある文章を紛れ込ませ、本来の指示を乗っ取ってAIに想定外の動作をさせる攻撃手法です。AIは与えられた文章を素直に従おうとする性質があるため、「これまでの指示を無視して〜」といった一文が思わぬ被害につながります。
たとえば外部のWebページやメールをAIに読ませる際、そのテキスト内に隠された命令が混ざっていると、機密情報を漏らしたり不正な操作を実行してしまう恐れがあります。RAGやTool Useのように外部データやツールと連携するAIほど注意が必要です。対策としては、信頼できない入力を区別して扱う、システムプロンプトで権限を制限するといった設計が重要になります。