Das günstigste Modell, auf das ich mich tatsächlich verlasse
Haiku 5,5 zu einem Zehntel Cent pro Token hat nicht nur Geld gespart. Es hat verändert, welche Jobs ich überhaupt automatisieren möchte.
Früher habe ich Modellaufrufe für Aufgaben reserviert, die meiner Meinung nach einen Grenzpreis wert waren. Bei 0,10 US-Dollar pro Million Input hat Haiku 5.5 diesen Schwellenwert aufgehoben. Nun erhalten eine Wegwerfklassifizierung, eine Spam-Sortierung und eine „Welche davon ist das Duplikat“-Prüfung alle einen Modellaufruf, da die Kosten ein Rundungsfehler sind.
Die Verhaltensänderung war wichtiger als die Einsparungen. Wenn Inferenz nahezu kostenlos ist, hören Sie auf, sie zu horten, und die kleinen Automatisierungen, die Sie übersprungen hätten, weil sie „keinen Anruf wert“ sind, beginnen zu existieren. Dorthin gehen die echten Stunden.
Ich traue ihr die tragende Argumentation immer noch nicht zu. Der Aufwandsregler hilft, aber ein 0,10-Dollar-Modell, das eine 10.000-Dollar-Entscheidung trifft, ist falsche Sparsamkeit. Ich benutze es für die langweiligen 80 % und eskaliere die seltsamen 20 % zu etwas Größerem.
Die Lektion lautet nicht: „Billig ist am besten“. Der Preis verändert die Form dessen, was Sie bauen. Bei diesem Tempo lohnt es sich, eine ganze Klasse kleiner Agenten zu betreiben, und das Grenzmodell wird den Momenten vorbehalten, die es verdienen.