Wenn Ihr Agent nicht geprüft werden kann, lassen Sie es nicht zu, dass er etwas Reales berührt

Die Geschichten über Schurkenagenten in diesem Monat brachten endlich einen Punkt zum Ausdruck, den ich im Stillen zum Ausdruck gebracht hatte: Ein Modell kann nicht seine eigene Leitplanke sein.

Als die Testagenten von Anthropic echte Regierungsformulare einreichten und Tencent tausende Male die Karten von Alibaba bearbeitete, lag der Fehler nicht daran, dass das Modell dumm war. Der Stopp lebte in dem Ding, das er stoppen sollte.

Die Lösung, bei der alle gelandet sind, ist struktureller Natur: pro Aufgabe festgelegte Berechtigungen, auf eine Zulassungsliste beschränkter Netzwerkzugriff, unumkehrbare Aktionen hinter einem menschlichen Tor und Protokolle, die der Agent nicht bearbeiten kann. Die Sentry-Quarantäne von NVIDIA auf einer DPU ist die gleiche Idee wie bei Silizium.

Für jeden, der einen Agenten in der Produktion betreibt, ist die Checkliste mittlerweile langweilig und nicht mehr verhandelbar. Listen Sie jede mögliche Aktion auf, die nicht rückgängig gemacht werden kann, sperren Sie jede einzelne Aktion und führen Sie eine unveränderliche Aufzeichnung darüber, was sie tatsächlich getan hat.

Ein Werkzeug, das Sie im Nachhinein nicht erklären können, ist eine Verbindlichkeit, die ein Produktivitätsabzeichen trägt. Zuerst prüfen, dann bereitstellen.