実際に眠れるようになるエージェントのチェックリスト

ローグ エージェントの話を一週間続けた後、私はモデルがデプロイするのに十分賢いかどうかを尋ねることをやめ、モデルがその後何をしたかを証明できるかどうかを尋ね始めました。 2 番目の質問は、私を守るためのものです。

私のチェックリストは短く、交渉の余地はありません。エージェントが実行できる、元に戻すことのできないすべてのアクションをリストします。人間や厳しいルールに基づいて、それぞれをゲートします。実行内容の不変のログを保持します。どれもエキゾチックではなく、すべてが退屈なので、人々はそれをスキップします。

私の行動を変えた部分はログです。事後的に説明できないエージェントは、生産性バッジを付けている責任を負っています。監査できなければ、本当の意味で何も影響しません。

チームが安全性を、研究室が提供するモデル機能として扱っているのを目にしました。そうではありません。安全なエージェントはアーキテクチャです。スコープ付きのアクセス許可、ホワイトリスト、不可逆的な人間のゲートです。モデルはあくまでしゃべる部分です。

機能を導入し、ケージを設置します。ケージは特徴であり、それをスキップすることはスピードではありません。エージェントがあなたが求めていないことを初めて行ったとき、あなたはきっと後悔するでしょう。