AI 에이전트가 여전히 할 수 없는 일(1년간 위임을 시도하면서 얻은 메모)

저는 실제 작업, 실제 마감 기한, 실제 결과 등 실제로 AI 에이전트에게 작업을 위임하려고 1년을 보냈습니다. 데모는 가짜가 아닙니다. 그 안에 있는 작업은 완료됩니다. 데모가 숨기는 것은 경계의 모양인데, 내가 시도한 모든 에이전트에서 놀라울 정도로 일관된 것으로 나타났습니다.

경계의 첫 번째 측면: 에이전트는 완료 여부가 모호한 목표에서 실패합니다. '이 코드베이스 정리'는 사양이 없고 에이전트가 사무실에 사양을 묻는 질문을 할 수 없기 때문에 잘못된 재구성을 생성합니다. 위임은 사전에 정의할 수 있는 정도까지 정확하게 작동합니다. 대부분의 지식 작업은 그렇지 않습니다.

두 번째 측면: 에이전트는 열거에 저항하는 컨텍스트에서 실패합니다. 항공편 예약은 열거 가능합니다(사이트, 양식, 확인). 안 좋은 일을 겪고 있는 사람과 재계약을 하는 것은 아니다. 실패는 능력이 아닙니다. 실제 컨텍스트에는 어떤 프롬프트에도 표시되지 않는 정보가 포함되어 있으며 에이전트는 자신이 모르는 것이 무엇인지 모릅니다.

세 번째 측면은 조용한 측면입니다. 결과적으로 에이전트는 실패합니다. 그들은 루프에서 위험을 느끼지 않기 때문에 올바른 전제와 동일한 자신감을 가지고 잘못된 전제에 따라 행동할 것입니다. 내가 구축한 모든 실제 위임 시스템은 결국 돌이킬 수 없는 행동이 발생한 바로 그 순간에 인간 체크포인트를 성장시켰는데, 이는 에이전트가 자주 실수를 해서가 아니라 오류가 발생했을 때 피해가 발생할 때까지 신호가 없었기 때문입니다.

이 중 어느 것도 해고가 아닙니다. 올해는 또한 회의론자들이 생각하는 것보다 더 큰 열거 가능하고 정의 가능한 영역에서 실질적인 승리를 거두었습니다. 그러나 대표단의 실패는 용량 문제가 아니었기 때문에 경계에 대한 정직한 지도가 데모보다 더 중요합니다. 이는 사양 문제였으며 아무리 모델을 개선해도 사양이 작성되지 않았습니다.