Lo que los agentes de IA todavía no pueden hacer (notas de un año de intentos de delegar)
Las demostraciones muestran a los agentes reservando vuelos y solucionando errores. Un año de delegación real me enseñó los límites, y son consistentes.
He pasado un año intentando delegar trabajo a agentes de IA: tareas reales, plazos reales, consecuencias reales. Las demostraciones no son falsas; las tareas que contienen se realizan. Lo que ocultan las demostraciones es la forma del límite, que ha resultado ser notablemente consistente en todos los agentes que he probado.
El primer lado de la frontera: los agentes fracasan en objetivos cuya consecución es ambigua. 'Limpiar esta base de código' produce una reorganización seguramente incorrecta, porque no había ninguna especificación y el agente no puede hacer preguntas a la oficina que pudieran revelar una. La delegación funciona exactamente en la medida en que lo hecho se puede definir de antemano. La mayor parte del trabajo del conocimiento no lo es.
El segundo lado: los agentes fallan en contextos que se resisten a la enumeración. La reserva de un vuelo es enumerable (sitios, formularios, confirmación). Renegociar un contrato con una persona que está pasando por un mal día no lo es. El fracaso no es la capacidad; es que los contextos reales contienen información que nunca llega a ningún mensaje, y el agente no sabe lo que no sabe.
El tercer lado es el silencioso: los agentes fallan en las consecuencias. Actuarán sobre una premisa equivocada con la misma confianza que sobre una premisa correcta, porque nada en su circuito parece estar en juego. Cada sistema de delegación real que construí eventualmente desarrolló un punto de control humano exactamente en el momento de la acción irreversible, no porque el agente se equivocara con frecuencia, sino porque cuando se equivocaba no había señal hasta que se producía el daño.
Nada de esto es un despido; El año también produjo victorias reales en la zona enumerable y definible, que es mayor de lo que piensan los escépticos. Pero el mapa honesto de la frontera importa más que las demostraciones, porque las delegaciones fallidas no fueron problemas de capacidad. Eran problemas de especificaciones y ninguna mejora del modelo escribe sus especificaciones por usted.