O que os agentes de IA ainda não conseguem fazer (notas de um ano de tentativas de delegar)

Passei um ano tentando realmente delegar trabalho aos agentes de IA: tarefas reais, prazos reais, consequências reais. As demonstrações não são falsas; as tarefas neles são realizadas. O que as demonstrações escondem é o formato da fronteira, que se revelou notavelmente consistente em todos os agentes que experimentei.

O primeiro lado da fronteira: os agentes falham em metas cujo cumprimento é ambíguo. 'Limpar esta base de código' produz uma reorganização seguramente errada, porque não havia nenhuma especificação e o agente não pode fazer ao escritório perguntas que possam revelar uma. A delegação funciona exatamente na medida em que é definível antecipadamente. A maior parte do trabalho de conhecimento não o é.

O segundo lado: os agentes falham em contextos que resistem à enumeração. A reserva de um voo é enumerável (sites, formulários, confirmação). Renegociar contrato com uma pessoa que está passando por um dia ruim não é. O fracasso não é a capacidade; é que os contextos reais contêm informações que nunca chegam a nenhum prompt e o agente não sabe o que não sabe.

O terceiro lado é o silencioso: os agentes falham nas consequências. Eles agirão com base em uma premissa errada com a mesma confiança que uma premissa certa, porque nada em seu ciclo parece estar em jogo. Todo sistema de delegação real que construí acabou criando um posto de controle humano exatamente no momento da ação irreversível, não porque o agente errasse com frequência, mas porque, quando errava, não havia sinal até o dano.

Nada disso é uma demissão; o ano também produziu vitórias reais na zona enumerável e definível, que é maior do que os céticos pensam. Mas o mapa honesto das fronteiras é mais importante do que as demonstrações, porque as delegações falhadas não representaram problemas de capacidade. Eles eram problemas de especificação, e nenhuma melhoria do modelo escreve sua especificação para você.