Les mannequins sont devenus moins chers, mais pas ma facture (encore une fois)
Chaque trimestre, le prix par jeton baisse et ma facture reste stable. La fuite est l'utilisation, pas le taux.
GPT-6.1 sol et Gemini 4 Argon ont tous deux atterri à 2 $ par million d'intrants, moins cher que les produits phares de l'année dernière. Bonne nouvelle, je me suis dit, ma facture va baisser. Ce n'est pas le cas. Ce n'est jamais le cas, car les économies par jeton se mangent en faisant plus de jetons de plus de choses.
La fuite est structurelle. Lorsqu'un appel est bon marché, vous cessez d'être prudent : vous résumez à nouveau, réessayez, enregistrez toute la conversation, exécutez un deuxième modèle pour vérifier le premier. Chacune est une erreur d'arrondi seule et une facture grasse ensemble. Les modèles moins chers ne m'ont pas rendu frugale ; ils m'ont fait gaspiller à grande échelle.
Ce qui a réellement réduit ma facture était autrefois un audit d'utilisation, pas un changement de fournisseur. J'ai trouvé une tâche de routine brûlant des appels de frontière qu'un petit modèle gérait bien, et une boucle de nouvelle tentative qui se déclenchait trois fois à chaque erreur. Réparer ces deux-là a fait baisser la facture plus que toute réduction de prix.
La leçon : le prix par jeton est une distraction. La discipline des jetons est le véritable levier de coût, et elle ne s'améliore que lorsque vous mesurez où ils vont. Les modèles moins chers cachent mieux les déchets.