La ruée vers l'or des modèles décisionnels : pourquoi tout le monde a expédié un petit modèle ce mois-ci
Une nouvelle catégorie est apparue en octobre et tous les laboratoires se sont précipités pour la remplir. Les prix sont absurdes.
Quelque chose d’étrange s’est produit début octobre. Au lieu de modèles de chat plus volumineux, les laboratoires ont livré de minuscules modèles de « décision » qui prennent votre état et une question saisie et renvoient un choix, un score ou une probabilité en un seul passage.
OpenAI a placé GPT-6 Luna derrière une API Decisions le 6 octobre, promettant des réponses environ dix fois plus rapides que l'API Responses à 0,10 $ par million de jetons d'entrée sans frais de sortie. Cloudflare a suivi avec Clef, Perplexity avec pplx-decider à 0,04 $, Microsoft avec Decision-1 à 0,042 $ et Liquid AI avec des modèles d1 qui répondent en huit millisecondes sur un GPU grand public.
L'attrait est simple : la plupart des appels « IA » dans un produit sont une classification déguisée. Vous n'avez pas besoin d'un modèle de raisonnement pour décider si un e-mail est du spam ou à quel niveau appartient un utilisateur. Un modèle de deux milliards de paramètres le fait pour une fraction de centime.
AWS a même open source Strands Decider 2B, afin que vous puissiez tout exécuter sur votre propre matériel. La vague des matières premières ici est réelle et elle évolue plus rapidement que la course aux produits phares.
Si vous demandez toujours à un modèle frontalier de passer un appel oui ou non mille fois par jour, les versions de ce mois-ci constituent un remboursement d'impôt direct.