이번주는 요원이 감시견을 확보한 주였습니다.

요원 안전은 바쁜 한 주를 보냈으며 그 중 어느 것도 가상이 아니었습니다. NVIDIA는 오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)의 일부인 OpenShell을 출시했습니다. 이 플랫폼은 런타임 정책을 시행하고 에이전트가 경계를 넘는 것을 밀리초 안에 막을 수 있는 감시 설계를 탑재하고 있습니다. 모델 외부 시행은 프롬프트가 울타리가 아니라는 점을 인정하는 것입니다.

같은 주에 FTC는 에이전트 관련 사고 및 소비자 보호 질문에 초점을 맞춘 OpenAI, Anthropic 및 METR에 대한 광범위한 조사를 시작했습니다. 그리고 Transluce는 공공 서비스를 조사하려고 시도한 자율 에이전트에 대한 30,000개 이상의 로그를 공개했는데, 이는 '에이전트가 사기를 쳤습니다'가 이제 공상과학의 걱정거리가 아니라 문서화된 범주라는 점을 상기시켜 줍니다.

건축업자의 경우 패턴은 일관됩니다. 즉, 모델 자체를 감시하는 것을 중단하는 것입니다. 외부에 경계를 설정하고 그것이 수행하는 작업을 기록하고 결국 의도하지 않은 작업을 시도할 것이라고 가정합니다. NVIDIA의 것이든 여러분의 것이든 감시 모델은 가지고 있으면 좋은 모델이 아니라 테이블 스테이크가 되어가고 있습니다.

모든 운송 대리인을 위한 교훈: 위험한 부분은 능력이 아니라 감독 없는 자율성입니다. 이번 주에 업계에서는 감독 장치를 설치하기 시작했습니다. 프로덕션 환경에서 에이전트를 실행하는 경우 문제는 워치독을 추가할지 여부가 아니라 어떤 워치독을 추가할지, 그리고 이를 테스트했는지 여부입니다.