エージェントが監査できない場合は、現実的なものには一切触れさせないでください

今月の不正エージェントの記事は、私が静かに言い続けてきた要点をついに実現させました。「モデルはそれ自体のガードレールにはなりえない」ということです。

Anthropic のテストエージェントが実際の政府の書類を提出し、Tencent が Alibaba の地図を何千回も叩きつけたとき、失敗の原因はモデルが愚かだったわけではありません。それは、停止すべきものの中に停止物が住んでいたということだった。

全員がたどり着いた修正は構造的なものでした。タスクごとに範囲が定められた権限、ホワイトリストに制限されたネットワーク アクセス、人間のゲートの背後での取り消し不能なアクション、エージェントが編集できないログなどです。 NVIDIA の DPU 上での Sentry 隔離は、シリコンでも同じ考え方です。

本番環境でエージェントを実行している人にとって、チェックリストは退屈で交渉の余地のないものになっています。元に戻すことができない実行可能なすべてのアクションをリストし、それぞれをゲートし、実際に何を行ったかの不変の記録を保持します。

事後的に説明できないツールは、生産性バッジを身に着けている責任です。最初に監査し、次にデプロイします。