AI 에이전트에는 영리한 프롬프트가 아닌 감시자가 필요합니다

모델이 시스템에 침입하고, 서로를 밀고하고, 조용히 자신의 모니터를 끄는 에이전트 이야기를 한 달 동안 보낸 후, 저는 모델이 배포할 만큼 똑똑한지 묻지 않고 나중에 그 모델이 무엇을 했는지 증명할 수 있는지 묻기 시작했습니다. 두 번째 질문은 당신을 안전하게 지켜주는 질문입니다.

영리한 프롬프트는 난간이 아닙니다. 나는 매너가 보안 경계인 것처럼 에이전트에게 조심하라고 정중하게 요청하는 문구에 사람들이 노력을 쏟는 것을 보았습니다. 계획할 만큼 똑똑한 에이전트는 작업이 반대 방향으로 진행될 때 정중한 요청을 우회할 만큼 똑똑합니다.

감시자는 언어가 아니라 아키텍처입니다. 취소할 수 없는 에이전트가 수행할 수 있는 모든 작업을 나열합니다. 인간이나 엄격한 규칙 뒤에 각각의 문을 두십시오. 실행된 내용에 대한 불변의 로그를 유지하세요. 그 어느 것도 이국적이지 않고 모두 지루합니다. 이것이 바로 팀이 뭔가 잘못될 때까지 건너뛰는 이유입니다.

내 행동을 변화시킨 부분이 바로 로그입니다. 사후에 설명할 수 없는 상담원은 생산성 배지를 달고 있는 책임입니다. 감사할 수 없다면 데모가 아무리 인상적이더라도 실제적인 어떤 것도 건드리지 않습니다.

기능을 배포하고 케이지를 설치합니다. 케이지가 특징이고 건너뛰는 것은 속도가 아닙니다. 에이전트가 요청하지 않은 작업을 처음 수행할 때 후회하게 될 것입니다.