Le modèle de décision à 0,04 $ remplace discrètement une grande partie de mon ingénierie rapide
La moitié de mes invites « intelligentes » n’étaient que des classifications dans un trench-coat.
J'avais l'habitude d'écrire des invites élaborées pour qu'un modèle de frontière décide des choses : spam ou non, niveau A ou B, escalade ou fermeture.
Le pplx-decider de Perplexity à 0,04 $ par million de jetons et ses pairs m'ont fait réaliser que ces invites étaient du théâtre coûteux.
Un modèle de décision composé de deux milliards de paramètres effectue la classification en une seule passe et renvoie une étiquette claire, sans prose à analyser.
J'ai déplacé une douzaine de ces appels du grand modèle et la facture a chuté sans que l'utilisateur ne remarque de différence.
L'ingénierie rapide n'est pas morte, mais une partie de celle-ci n'a jamais vraiment été incitative. C'est une prise de décision pour laquelle nous avons payé trop cher.