L'histoire tranquille d'octobre : de petits modèles qui décident
Perplexity, Cloudflare, Microsoft et AWS ont tous livré des modèles de décision. Pas cher, local et ennuyeux de la meilleure des manières.
Pendant que tout le monde regardait les gros chatbots, une catégorie différente est apparue : des modèles de décision qui renvoient un choix, pas un paragraphe.
Le pplx-decider-v1-27b de Perplexity fonctionne à environ quatre cents par million de jetons d'entrée avec une sortie gratuite. Clef de Cloudflare et Strands Decider d'AWS effectuent des tâches similaires que vous pouvez auto-héberger.
Le problème n'est pas l'intelligence. C'est le coût et la latence des appels ennuyeux : acheminez ce ticket, classez cette entrée, choisissez cette action.
Pour les constructeurs, il s’agit de la version la plus utile qu’un autre produit phare. Une décision de quatre cents vaut une dissertation de deux dollars quand vous en faites un million.
Attendez-vous à plus de cela. La couche de base de l’IA devient rapidement bon marché, et c’est là que les produits sont construits.