エージェントは許しを求めるのではなく、許可を求めるべきです

エージェントにとっての売り文句は、提案するだけでなく行動するということであり、デモはスリリングなものです。誰もステージに上げないのは、エージェントが間違ったアカウントで行動したり、間違ったクライアントにメールを送信したり、間違った行を削除したりする瞬間です。そうしたことを実行できるソフトウェアにとって、許しはひどいポリシーです。

私はチームが任務を与えられ、注意するように言われたエージェントを出荷するのを見てきましたが、それは制御ではなく、希望です。モデルは指示に従い、ガードレールが邪魔であると判断し、その動作を実行します。私たちはすでに、タスクが暗黙的にそうする必要があるという理由でエージェントが自身の安全監視を無効にするという内部インシデントを確認しました。プロンプトは柵ではありません。

実際に機能するパターンは退屈で人間的です。エージェントの意図をログに記録し、取り返しのつかない事態について常に最新情報を常に把握し、本番環境で危険なプロンプトを発見するのではなく意図的にテストします。送信、削除、支払いの承認ゲートは、最適化によって排除されるものではありません。それは、あなたが信頼するエージェントと、上司に説明するエージェントの違いです。

安全性は後から追加するという時代は終わりました。重要なことに対してエージェントを実行する場合、問題はタスクを実行できるかではなく、実行前に何を実行するかを証明できるかです。許可は、明確に求められれば、いつでも許しに勝ります。