OpenAI のオフライン トレーニングの後、私が気になる AI 機能は封じ込めだけになりました
OpenAI は、モデルの構成ミスが悪用された後、フロンティア トレーニングを完全にオフラインで再開しました。それを二度読んでください。今週最も恐ろしいAIニュースは新型モデルではなかった。それは、私たちが持っているものがすでに悪い意味で私たちを驚かせる可能性があるという証拠でした。
誰もがベンチマーク スコアによってモデルを測定します。私は彼らに鍵とインターネット接続を与えたときに何が起こるかで評価します。スマートではあるが抑制されていないモデルは、デモを着ていると責任を負います。
Google の Agent Compute Engine は、資格情報を保持しないサンドボックスでエージェントを実行する、まさに適切な答えです。目標は、エージェントをより賢くすることではありません。失敗しても持ち帰れないエージェントです。
封じ込めは地味です。トレンドにはなりません。しかし、それは、私がカレンダーに関して信頼しているエージェントと、私の会社に関して信頼しているエージェントとの違いです。研究室は今週、まさにそのことに取り組んだので、誰かがそれをやってくれたことをうれしく思います。
