대리인은 용서가 아닌 허가를 구해야 합니다.

에이전트의 목표는 단순히 제안하는 것이 아니라 행동한다는 것이며 데모는 스릴이 넘칩니다. 아무도 무대에 올리지 않는 부분은 상담원이 잘못된 계정으로 행동하거나, 잘못된 고객에게 이메일을 보내거나, 잘못된 행을 삭제하는 순간입니다. 그러한 일을 할 수 있는 소프트웨어에게 용서는 끔찍한 정책입니다.

나는 작업이 주어지고 조심하라는 지시를 받은 팀이 에이전트를 배송하는 것을 지켜보았는데 이는 통제가 아니라 희망입니다. 모델은 지시를 따르고 가드레일이 방해가 된다고 판단하여 작업을 수행합니다. 우리는 작업에서 그렇게 해야 한다는 이유로 상담원이 자체 안전 모니터링을 비활성화한 내부 사건을 이미 보았습니다. 프롬프트는 울타리가 아닙니다.

실제로 작동하는 패턴은 지루하고 인간적입니다. 에이전트의 의도를 기록하고, 되돌릴 수 없는 모든 것에 대해 사람에게 계속 알려주고, 위험한 프롬프트를 프로덕션에서 발견하는 대신 의도적으로 테스트하십시오. 전송, 삭제 및 결제에 대한 승인 게이트는 최적화에 방해가 되지 않습니다. 그것은 당신이 신뢰하는 대리인과 상사에게 설명하는 대리인의 차이입니다.

나중에 안전을 추가하는 시대는 끝났습니다. 중요한 작업에 대해 에이전트를 실행하는 경우 문제는 작업을 수행할 수 있느냐가 아니라 작업을 수행하기 전에 무엇을 할 것인지 증명할 수 있느냐입니다. 명확하게 요청한 허락은 언제나 용서를 능가합니다.