Le modèle le moins cher sur lequel je compte réellement
Haiku 5.5 à un dixième de cent par jeton n'a pas seulement permis d'économiser de l'argent. Cela a changé les tâches que je prenais la peine d'automatiser.
J'avais l'habitude de réserver des appels modèles à des tâches qui valaient un prix frontière. À 0,10 $ par million d'entrées, Haiku 5,5 a supprimé ce seuil. Désormais, une classification jetable, un tri du spam, une vérification « lequel de ces éléments est le doublon » font tous l'objet d'un appel de modèle car le coût est une erreur d'arrondi.
Le changement de comportement comptait plus que les économies. Lorsque l'inférence est presque gratuite, vous arrêtez de la thésauriser et les petites automatisations que vous auriez ignorées parce que « cela ne vaut pas la peine d'être appelée » commencent à exister. C'est là que vont les vraies heures.
Je ne lui fais toujours pas confiance avec le raisonnement porteur. Le cadran d'effort aide, mais un modèle à 0,10 $ prenant une décision de 10 000 $ est une fausse économie. Je l'utilise pour les 80 % ennuyeux et je transforme les 20 % étranges en quelque chose de plus grand.
La leçon n’est pas « le moins cher est le mieux ». C'est que le prix change la forme de ce que vous construisez. À ce rythme-là, toute une classe de petits agents mérite d’être exploitée, et le modèle frontière est réservé aux moments qui le méritent.