Kleine Models fressen die Demo
Die beeindruckende Live-Demo ist immer mehr ein kleines Modell, das eine kleine Sache perfekt macht. Die Grenze ist für die meisten davon übertrieben.
Schauen Sie sich in letzter Zeit die Demo-Reels an und es zeigt sich ein Muster: Der auffällige Teil ist normalerweise ein kleines, spezialisiertes Model, das einen Job mit erschreckender Präzision erledigt, und kein Grenzriese. Ein 27-Milliarden-Parameter-Entscheider, der Support-Tickets weiterleitet, ein kleines Transkriptionsmodell, das Whisper auf einer CPU schlägt, ein 2-Milliarden-Modell, das eine Ja/Nein-Anfrage für ein paar Cent macht.
Das ist die richtige Architektur. Frontier-Modelle sind wunderbare Generalisten und für eine Aufgabe, die Sie zehn Millionen Mal ausführen, von schrecklichem Wert. Sobald das Volumen hoch ist, ändert sich die Wirtschaftslage: Ein Entscheidungsmodell von 0,04 US-Dollar pro Million übersteigt ein Entscheidungsmodell von 2 US-Dollar auf dem gleichen Etikett.
Für Bauherren bedeutet das oft, dass es klug ist, klein anzufangen. Beweisen Sie, dass die Aufgabe mit einem fokussierten Modell funktioniert, und eskalieren Sie dann nur für die Fälle, in denen sie tatsächlich erforderlich ist, zu einem Grenzmodell. Die meisten Pipelines sind zu 95 % routinemäßig und zu 5 % schwierig, und wenn man alles als Grenzklasse betrachtet, explodiert das Budget.
Die Demo, die nächstes Jahr gewinnt, wird nicht lauten: „Sehen Sie, wie groß unser Modell ist.“ Es wird heißen: „Sehen Sie, wie wenig es kostet, dies perfekt zu machen.“ Kleine Models, die sich die Demo anschauen, sind einfach nur die Realität, die pünktlich ankommt.