대부분의 "AI 에이전트"는 여전히 약속한 한 가지를 수행할 수 없습니다.

AI 에이전트의 모든 데모는 마술처럼 보입니다. 내가 실제로 실행한 모든 프로덕션 에이전트는 10분 동안 뛰어난 능력을 발휘한 다음 조용히 파일 이름을 바꾸는 인턴처럼 보입니다.

그 격차는 기억과 가드레일이다. 챗봇이 질문에 답변합니다. 에이전트는 일을 하고, 물건을 확인하고, 물건이 고장났을 때 복구해야 합니다. 대부분 회복 부분이 안좋습니다.

저는 한 상담원에게 대시보드 3개 확인, 요약, Slack에 게시라는 간단한 작업을 맡겼습니다. 두 번 못 박았습니다. 세 번째에는 대시보드가 ​​느리고 추측했기 때문에 새벽 3시에 반쯤 완성된 초안을 게시했습니다.

공급업체는 모델이 빠르게 개선되고 있다고 말할 것이며 실제로 그렇습니다. 그러나 "개선"과 "감독 없이 실행할 수 있을 만큼 신뢰할 수 있는 것"은 서로 다른 기준이며, 우리는 아직 두 번째 기준에 도달하지 않았습니다.

내 조언은 지루하지만 돈, 고객 또는 평판에 영향을 미치는 모든 것에 대해 인간이 계속 추적하도록 하십시오. 요원은 훌륭한 부조종사입니다. 그들은 아직 조종사가 아닙니다.