Was KI-Agenten immer noch nicht können (Notizen aus einem Jahr des Delegierens)
Die Demos zeigen Agenten, die Flüge buchen und Fehler beheben. Ein Jahr echter Delegation hat mir die Grenzen gezeigt, und sie sind konsistent.
Ich habe ein Jahr damit verbracht, Arbeit tatsächlich an KI-Agenten zu delegieren: echte Aufgaben, echte Fristen, echte Konsequenzen. Die Demos sind keine Fakes; Die darin enthaltenen Aufgaben werden erledigt. Was die Demos verbergen, ist die Form der Grenze, die sich bei allen Agenten, die ich ausprobiert habe, als bemerkenswert konsistent erwiesen hat.
Die erste Seite der Grenze: Agenten scheitern an Zielen, deren Erfüllung nicht eindeutig ist. „Diese Codebasis bereinigen“ führt mit Sicherheit zu einer falschen Reorganisation, da es keine Spezifikation gab und der Agent dem Büro keine Fragen stellen kann, die zu einer solchen führen würden. Die Delegation funktioniert genau in dem Maße, in dem sie im Voraus definiert werden kann. Bei den meisten Wissensarbeiten ist dies nicht der Fall.
Die zweite Seite: Agenten scheitern an Kontexten, die sich einer Aufzählung widersetzen. Die Buchung eines Fluges ist aufzählbar (Standorte, Formulare, Bestätigung). Einen Vertrag mit einer Person, die einen schlechten Tag hat, neu auszuhandeln, ist nicht der Fall. Der Fehler ist keine Fähigkeit; Es liegt daran, dass reale Kontexte Informationen enthalten, die nie in eine Eingabeaufforderung gelangen, und der Agent weiß nicht, was er nicht weiß.
Die dritte Seite ist die stille: Agenten scheitern an der Konsequenz. Sie werden auf einer falschen Prämisse mit der gleichen Zuversicht handeln wie auf einer richtigen, weil nichts in ihrem Kreislauf auf dem Spiel steht. Aus jedem echten Delegationssystem, das ich gebaut habe, wurde schließlich genau im Moment einer irreversiblen Aktion ein menschlicher Kontrollpunkt, nicht weil der Agent häufig Fehler machte, sondern weil es bei Fehlern bis zum Schaden kein Signal gab.
Nichts davon ist eine Entlassung; Das Jahr brachte auch echte Erfolge in der aufzählbaren und definierbaren Zone hervor, die größer ist, als Skeptiker denken. Aber die ehrliche Karte der Grenze ist wichtiger als die Demos, denn die gescheiterten Delegationen waren keine Kapazitätsprobleme. Es handelte sich um Spezifikationsprobleme, und keine noch so große Modellverbesserung schreibt Ihre Spezifikation für Sie vor.