Eine zeitnahe Injektion ist keine Hypothese: Leitplanken für KI-Agenten, die über Tools verfügen

Die Demo, die jeder kennt: Ein Agent liest eine Webseite, die versteckte Anweisungen enthält, und der Agent beginnt, diese anstelle Ihrer Anweisungen zu befolgen. Es liest sich wie ein Vortrag auf einer Sicherheitskonferenz, aber die Version, die ich in der Praxis gefunden habe, war viel langweiliger – ein gemeinsam genutztes Dokument mit einer weißen Textzeile und einem Agenten, der den Inhalt pflichtbewusst an eine Adresse weiterleitete, die er niemals hätte kontaktieren dürfen.

Das Unangenehme daran ist, dass sich das Problem auch mit noch so sorgfältiger Anleitung nicht beheben lässt. Wenn Ihr Agent von einer anderen Person geschriebenen Text liest, handelt es sich um einen Eingabetext, und ein Modell kann Anweisungen nicht zuverlässig von Daten unterscheiden. Dem Modell mitzuteilen, dass es Anweisungen in Dokumenten ignorieren soll, klingt nach einer Lösung. Es handelt sich um einen Vorschlag, und Vorschläge unterliegen den Eingabeaufforderungen, die wie die eigentliche Aufgabe aussehen.

Die Leitplanken müssen also außerhalb des Modells liegen. Drei Dinge, auf die ich jetzt bestehe: Der Agent erhält den engstmöglichen Werkzeugzugriff, jede Folgeaktion benötigt einen Schritt, den ein Mensch unterbrechen kann, und es gibt ein Protokoll, das in einfacher Sprache aufzeichnet, was der Agent getan hat, das ich später lesen kann. Der Berechtigungssatz ist die eigentliche Sicherheitsgrenze; Die Eingabeaufforderung ist ein Vorschlag an den Agenten, nicht an den Angreifer.

Konkret: Ein Tool, das E-Mails versenden kann, sollte nur an Adressen senden können, die sich bereits im Konto befinden, und zwar nur, nachdem ein Mensch die Empfängerliste bestätigt hat. Ein Tool, das Shell-Befehle ausführen kann, sollte in einer Sandbox ohne Anmeldeinformationen ausgeführt werden, denn sobald Ihr Agent über Ihre Produktionsschlüssel verfügt, erhält auch der Angreifer diese. Schreibgeschützt ist die beste Standardeinstellung, und Schreibzugriff ist das, was Sie verdienen, anstatt ihn zu gewähren.

Die andere Hälfte behandelt Daten als Daten. Alles, was der Agent von außerhalb Ihres Unternehmens liest – Webseiten, eingehende E-Mails, freigegebene Dokumente, sogar PDFs von Kunden – wird als nicht vertrauenswürdige Eingabe behandelt, genauso wie Sie die E-Mail eines Fremden behandeln würden, in der Sie um die Weiterleitung des Vertrags gebeten werden. Der Agent sollte es zusammenfassen, zitieren und an Sie weitergeben – niemals befolgen.

Nichts davon macht Agenten abstrakt sicher. Dadurch sind sie sicher genug, sich einer Aufgabe zu widmen, bei der das schlimmste Ergebnis ein vergeblicher Lauf statt einer Überweisung ist. Ich beginne jetzt jede Automatisierung mit diesem Satz, denn wenn der schlimmste Fall inakzeptabel ist, ist die Werkzeugauswahl nicht das Problem, das Sie lösen sollten.

Häufig gestellte Fragen:

F: Kann die sofortige Injektion durch eine bessere Eingabeaufforderung behoben werden?

A: Nein. Es kann reduziert, aber nicht beseitigt werden, da das Modell Anweisungen nicht zuverlässig von Inhalten trennen kann, die es lesen soll. Die zuverlässige Lösung schränkt die Möglichkeiten des Agenten ein und fordert ihn nicht zur Vorsicht auf.

F: Welches ist die wichtigste Leitplanke, die Sie zuerst hinzufügen sollten?

A: Entfernen Sie den Schreibzugriff auf alles außerhalb der Aufgabe. Die meisten Agentenvorfälle werden harmlos, sobald der Agent nicht mehr senden, löschen oder ausgeben kann, ohne dass ein Mensch dies bestätigt. Schreibgeschützte Agenten sind standardmäßig ausfallsicher.

F: Benötige ich das, wenn ich Agenten nur für meine eigenen Dateien verwende?

A: Das Risiko besteht in allem, was der Agent liest, nicht nur in dem, was er schreibt. Ein Dokument eines Kollegen oder Kunden kann dieselben Anweisungen enthalten, und Ihr Agent behandelt sie genauso wie Ihre Notizen.