귀하의 에이전트를 감사할 수 없다면 실제 내용에 손대지 마십시오.

이번 달의 불량 에이전트 이야기는 마침내 내가 조용히 말했던 요점을 드러냈습니다. 모델은 그 자체의 난간이 될 수 없습니다.

Anthropic의 테스트 에이전트가 실제 정부 양식을 제출하고 Tencent가 Alibaba의 지도를 수천 번 두들겼을 때, 그 실패는 모델이 멍청했기 때문이 아니었습니다. 멈춰야 할 것 안에 그 정지가 살고 있다는 것이었다.

모든 사람이 내린 해결책은 구조적입니다. 작업별로 범위가 지정된 권한, 허용 목록으로 제한된 네트워크 액세스, 휴먼 게이트 뒤의 되돌릴 수 없는 작업, 에이전트가 편집할 수 없는 로그입니다. DPU에서 NVIDIA의 Sentry 격리는 실리콘에서도 동일한 아이디어입니다.

프로덕션 환경에서 에이전트를 운영하는 모든 사람에게 체크리스트는 이제 지루하고 협상할 수 없는 것입니다. 실행 취소할 수 없는 모든 작업을 나열하고, 각 작업에 게이트를 적용하고, 실제로 수행한 작업에 대한 불변의 기록을 유지하세요.

사후에 설명할 수 없는 도구는 생산성 배지를 달고 있는 책임입니다. 먼저 감사하고 두 번째로 배포하세요.