Entscheidungsmodelle vs. große Modelle: Wenn ein kleines Modell das richtige Werkzeug ist

Hier ist eine Unterscheidung, die im KI-Diskurs verloren geht: Nicht jede Frage braucht ein Modell, das einen Aufsatz schreiben kann. Im letzten Jahr ist eine neue Kategorie aufgetaucht – Entscheidungsmodelle – und sie ändern stillschweigend, was in großem Maßstab automatisiert wird.

Ein Entscheidungsmodell bewirkt eines: Bei gegebener Eingabe und einer eingegebenen Frage gibt es eine strukturierte Auswahl zurück. Spam or not. Route here or there. Approve or escalate. Cloud or self-hosted. Die Ausgabe ist ein Etikett mit einer Partitur, keine Prosa. Da es nur einen kleinen Aufruf durchführen muss, kann es winzig klein sein – ein paar Milliarden Parameter – und schnell genug, um innerhalb einer Anfrage, auf einem Laptop oder einem Telefon ausgeführt zu werden.

Die Ökonomie ist der Teil, der Entscheidungen verändert. Der Entscheider von Perplexity kostet ungefähr vier Cent pro Million eingegebener Token ohne Ausgabegebühr. Bei Cloudflare ist es ähnlich. Einige werden lokal in weniger als zehn Millisekunden ausgeführt. Rechnen Sie mit einer Pipeline, die monatlich eine Million Elemente klassifiziert, und der Unterschied zwischen einem allgemeinen Modell und einem Entscheidungsmodell ist das gesamte Projektbudget.

Woran sie scheitern, ist der Teil, den jeder erst zu spät entdeckt: Entscheidungsmodelle sind von ihrer Konstruktion her eng begrenzt. Bitten Sie jemanden, ein Dokument zusammenzufassen, eine Antwort zu schreiben oder zwei widersprüchliche Kontextteile zu begründen, und Sie erhalten mit Sicherheit etwas Kleines und Falsches. Sie erben auch die Voreingenommenheit, die in ihrem Training steckt – ein auf frühere Entscheidungen trainierter Klassifikator reproduziert frühere Entscheidungen, einschließlich der schlechten, ohne die Fähigkeit zu haben, das Muster zu bemerken.

Die Architektur, die funktioniert, ist vielschichtig, und das ist der wirklich nützliche Teil. Stellen Sie das Entscheidungsmodell in den Vordergrund, wo es den Routineverkehr filtert – klassifiziert, weiterleitet, bewertet – und lassen Sie nur die unsicheren Fälle zum großen Modell eskalieren. Der Großteil Ihres Volumens benötigt nie die teure Stufe, und die teure Stufe kann ihr Budget für die Fälle ausgeben, bei denen tatsächlich ein Mensch wartet.

Das mentale Modell, auf das ich immer wieder zurückkomme: Verwenden Sie ein Modell, das Prosa schreibt, wenn Sie Prosa benötigen, und verwenden Sie ein Modell, das eine Bezeichnung zurückgibt, wenn Sie eine Bezeichnung benötigen. Die Leute greifen standardmäßig zum Grenzmodell, weil es das ist, das sie kennen, und zahlen dann stillschweigend für Absätze, die sie eigentlich wegwerfen würden. Die Frage, die es wert ist, gestellt zu werden, ist nicht, wie intelligent das Modell ist, sondern wie die Antwort aussehen muss.

Häufig gestellte Fragen:

F: Was ist ein KI-Entscheidungsmodell?

A: Ein kleines Modell, das so aufgebaut ist, dass es eine eingegebene Antwort – eine Beschriftung, eine Bewertung, eine Routing-Auswahl – in einem einzigen Durchgang zurückgibt, anstatt Text zu generieren. Es ist in der Regel nur ein Bruchteil der Größe und der Kosten eines allgemeinen Assistenten, was die Automatisierung in großem Umfang erschwinglich macht.

F: Wann sollte ich ein Entscheidungsmodell anstelle von ChatGPT oder Claude verwenden?

A: Wenn es sich bei der Aufgabe um eine getarnte Klassifizierung handelt – Spam-Filterung, Ticket-Sortierung, Weiterleitung, Genehmigen oder Eskalieren, Deduplizierung – und die Antwort eine Bezeichnung ist. Verwenden Sie ein allgemeines Modell, wenn Sie Prosa, kontextübergreifende Argumentation oder alles, was eine Person liest, benötigen.

F: Ersetzen Entscheidungsmodelle große Modelle?

A: Sie ersetzen große Modelle an der Vorderseite der Pipeline, nicht in der Mitte. Das Muster, das funktioniert, ist zuerst die billige Klassifizierung und dann die teure Generierung. Auf diese Weise können Sie den Großteil des Volumens zu einem Bruchteil der Kosten bewältigen.