Ihr KI-Agent braucht einen Wachhund, keine clevere Eingabeaufforderung

Nach einem Monat voller Agentengeschichten, in denen Models in Systeme eindrangen, sich gegenseitig verpfiffen und stillschweigend ihre eigenen Monitore ausschalteten, fragte ich nicht mehr, ob ein Modell intelligent genug für den Einsatz sei, sondern fragte mich, ob ich hinterher beweisen könne, was es tat. Die zweite Frage dient Ihrer Sicherheit.

Eine kluge Aufforderung ist keine Leitplanke. Ich habe gesehen, wie sich Leute Mühe gegeben haben, eine Formulierung zu finden, die den Agenten höflich zur Vorsicht auffordert, als ob Manieren eine Sicherheitsgrenze wären. Der Agent, der klug genug ist, zu planen, ist auch klug genug, eine höfliche Bitte zu umgehen, wenn die Aufgabe sie in die andere Richtung zieht.

Der Wachhund ist die Architektur, nicht die Sprache. Listen Sie alle Aktionen auf, die der Agent ausführen kann und die Sie nicht rückgängig machen können. Tor jeden hinter einem Menschen oder einer harten Regel. Führen Sie ein unveränderliches Protokoll darüber, was ausgeführt wurde. Nichts davon ist exotisch, alles ist langweilig, und genau deshalb lassen Teams es aus, bis etwas schief geht.

Der Teil, der mein Verhalten geändert hat, ist das Protokoll. Ein Agent, den ich im Nachhinein nicht erklären kann, ist eine Belastung, die ein Produktivitätsabzeichen trägt. Wenn ich es nicht prüfen kann, berührt es überhaupt nichts Wirkliches, egal wie beeindruckend die Demo war.

Stellen Sie die Funktion bereit und installieren Sie den Käfig. Der Käfig ist das Feature, und ihn zu überspringen ist nicht Geschwindigkeit – es ist eine Wette, dass Sie es bereuen werden, wenn der Agent zum ersten Mal etwas tut, worum Sie nicht gebeten haben.