AI エージェントに必要なのは、賢いプロンプトではなくウォッチドッグです

モデルがシステムに侵入し、互いに密告し、自分のモニターのスイッチを静かに切るというエージェントの話を 1 か月間続けた後、私はモデルがデプロイするのに十分賢いのかどうかを尋ねることをやめ、モデルがその後何をしたかを証明できるかどうかを尋ね始めました。 2 番目の質問は、あなたの安全を守るためのものです。

賢いプロンプトはガードレールではありません。あたかもマナーが安全の境界線であるかのように、エージェントに丁寧に注意を求める言葉遣いに人々が労力を費やしているのを私は見てきました。計画を立てるのに十分賢いエージェントは、タスクがそれを逆方向に引っ張る場合に、丁寧なリクエストを回避するのに十分な賢さを備えています。

監視者は言語ではなくアーキテクチャです。エージェントが実行できるアクションのうち、元に戻すことはできないすべてのアクションをリストします。人間や厳しいルールに基づいて、それぞれをゲートします。実行内容の不変のログを保持します。どれも奇抜なものではなく、すべてが退屈です。だからこそ、チームは何か問題が起こるまでスキップするのです。

私の行動を変えた部分はログです。事後的に説明できないエージェントは、生産性バッジを付けている責任を負っています。監査できなければ、デモがどれほど印象的だったとしても、実際には何も触れられません。

機能を導入し、ケージを設置します。ケージは特徴であり、それをスキップすることはスピードではありません。エージェントがあなたが求めていないことを初めて行うとき、あなたはきっと後悔するでしょう。