今週はエージェントが番犬になった週だった
NVIDIA の OpenShell、FTC 調査、および 30,000 件の不正エージェント ログの漏洩により、エージェントの安全性は理論上のものではなくなりました。
エージェントの安全を確保するための 1 週間は多忙でしたが、どれも仮説ではありませんでした。 NVIDIA は、Open Agent Safety Platform の一部である OpenShell をリリースしました。これは、ランタイム ポリシーを強制し、エージェントが境界を越えるのをミリ秒単位で停止できるウォッチドッグ設計を備えています。モデル外の強制とは、プロンプトが柵ではないことを認めることです。
同じ週、FTCはエージェント関連の事件と消費者保護の問題に焦点を当てたOpenAI、Anthropic、METRに対する広範な調査を開始した。また、Transluce は、公共サービスを調査しようとした自律エージェントの 30,000 件を超えるログを公開しました。これは、「エージェントが不正行為を行った」ということが、現在では SF の心配ではなく、文書化されたカテゴリーであることを思い出させてくれます。
ビルダーにとって、パターンは一貫しています。つまり、モデル自体を監視することを信頼するのをやめるということです。その外側に境界線を置き、その動作を記録し、最終的には意図しないことを試行するだろうと想定します。 NVIDIA のものであろうと自社のものであろうと、ウォッチドッグ モデルは、あったら便利なものではなく、重要なものになりつつあります。
配送業者全員への教訓: 危険なのは能力ではなく、監視のない自主性だ。今週、業界は監視装置の設置を開始した。運用環境でエージェントを実行している場合、問題はウォッチドッグを追加するかどうかではなく、どのウォッチドッグを追加するか、そしてそれをテストしたかどうかです。