Modelle wurden billiger, aber meine Rechnung nicht (wieder)
Jedes Quartal sinkt der Preis pro Token und meine Rechnung bleibt unverändert. Das Leck ist die Nutzung, nicht die Rate.
GPT-6.1 Sol und Gemini 4 Argon landeten beide bei $ 2 pro Million Input, billiger als die Flaggschiffe des letzten Jahres. Tolle Neuigkeiten, sagte ich mir, meine Rechnung wird fallen. Das tat es nicht. Das tut es nie, denn die Ersparnisse pro Token werden durch mehr Token von mehr Dingen aufgefressen.
Das Leck ist strukturell. Wenn ein Anruf billig ist, hören Sie auf, vorsichtig zu sein: Sie fassen zusammen, versuchen es erneut, protokollieren das gesamte Gespräch, führen ein zweites Modell aus, um das erste zu überprüfen. Jeder ist ein Rundungsfehler allein und eine FAT-Rechnung zusammen. Billigere Modelle haben mich nicht sparsam gemacht; sie haben mich in großem Maßstab verschwenderisch gemacht.
Was meine Rechnung tatsächlich einst gekürzt hat, war ein Nutzungsaudit, kein Anbieterwechsel. Ich fand eine Routineaufgabe, die Grenzanrufe verbrannte, die ein winziges Modell gut handhabte, und eine Wiederholungsschleife, die bei jedem Fehler dreimal ausgelöst wurde. Die Behebung dieser beiden hat die Rechnung mehr als jede Preissenkung fallen lassen.
Die Lektion: Der Preis pro Token ist eine Ablenkung. Token-Disziplin ist der eigentliche Kostenhebel, und sie verbessert sich nur, wenn Sie messen, wohin sie gehen. Billigere Modelle verstecken den Abfall einfach besser.