即時注入は仮説ではありません: ツールを備えた AI エージェントのガードレール

誰もが知っているデモです。エージェントが隠された指示を含む Web ページを読み取り、エージェントの代わりにその指示に従い始めます。セキュリティカンファレンスの講演のように読めますが、実際に私が試したバージョンはもっと鈍いものでした。白いテキストが一行書かれた共有文書と、エージェントがその内容を決して連絡すべきではないアドレスに律儀に転送していました。

不快な点は、いくら注意して促してもこの問題は解決しないことです。エージェントが他の人が書いたテキストを読んだ場合、そのテキストが入力されるため、モデルはデータから指示を確実に伝えることができません。ドキュメント内の命令を無視するようにモデルに指示するのは修正のように思えます。これは提案であり、提案は実際のタスクに似たプロンプトに負けます。

したがって、ガードレールはモデルの外側に存在する必要があります。私が現在主張している 3 つのことは、エージェントがツールにアクセスできる範囲を可能な限り狭くすること、すべての結果的なアクションには人間が中断できるステップが必要であること、エージェントが行ったことを後で読めるように平易な言葉で記録するログがあることです。権限セットは実際のセキュリティ境界です。プロンプトは、攻撃者に対するものではなく、エージェントに対する提案です。

具体的には、電子メールを送信できるツールは、アカウントにすでに登録されているアドレスにのみ、人間が受信者リストを確認した後にのみ送信できるようにする必要があります。シェル コマンドを実行できるツールは、認証情報なしでサンドボックスで実行する必要があります。エージェントが本番キーを取得した瞬間に、攻撃者も認証情報を取得することになるからです。読み取り専用が最適なデフォルトであり、書き込みアクセスは許可するものではなく獲得するものです。

残りの半分はデータをデータとして扱います。 Web ページ、受信メール、共有ドキュメント、さらには顧客からの PDF など、エージェントが組織外から読み取るものはすべて、契約書の転送を求める見知らぬ人からのメールを扱うのと同じように、信頼できない入力として扱われます。エージェントはそれを要約し、引用してあなたに渡す必要があります。決してそれに従わないでください。

これらは抽象的にはエージェントを安全にするものではありません。これにより、最悪の結果が電信送金ではなく無駄な実行になるようなタスクに安心して取り組むことができます。私は現在、すべての自動化をこの文から始めています。最悪のケースが受け入れられない場合、ツールの選択は解決すべき問題ではないからです。

よくある質問:

Q: プロンプト挿入を改善してプロンプトを修正することはできますか?

A: いいえ。モデルは、読み取りを要求されたコンテンツから命令を確実に分離できないため、削減することはできますが、排除することはできません。信頼できる解決策は、エージェントに注意を求めることではなく、エージェントが実行できることを制限することです。

Q: 最初に追加する最も重要なガードレールは何ですか?

A: タスク外への書き込みアクセスを削除します。エージェントのインシデントのほとんどは、エージェントが人間の確認なしで送信、削除、または使用できなくなった瞬間に無害になります。読み取り専用エージェントはデフォルトでフェイルセーフです。

Q: 自分のファイルに対してのみエージェントを使用する場合、これは必要ですか?

A: リスクはエージェントが書き込むものだけでなく、読み取るものすべてに存在します。同僚や顧客からの文書には同じ指示が含まれている場合があり、エージェントはその指示をあなたのメモと同じように扱います。