Modèles de décision vs grands modèles : quand un petit modèle est le bon outil

Voici une distinction qui se perd dans le discours sur l’IA : toutes les questions n’ont pas besoin d’un modèle capable de rédiger un essai. Une nouvelle catégorie est apparue au cours de l'année dernière : les modèles de décision - et ils modifient discrètement ce qui est automatisé à grande échelle.

Un modèle de décision fait une chose : à partir d’une entrée et d’une question tapée, il renvoie un choix structuré. Spam ou pas. Itinéraire ici ou là. Approuver ou faire remonter. Cloud ou auto-hébergé. Le résultat est une étiquette avec une partition, pas de la prose. Parce qu'il suffit d'effectuer un seul appel précis, il peut être minuscule - quelques milliards de paramètres - et suffisamment rapide pour être exécuté dans une requête, sur un ordinateur portable ou sur un téléphone.

L’économie est la partie qui change les décisions. Le décideur de Perplexity fonctionne à environ quatre cents par million de jetons d'entrée sans frais de sortie. Celui de Cloudflare est similaire. Certains s'exécutent localement en moins de dix millisecondes. Faites le calcul sur un pipeline qui classe un million d'éléments par mois et la différence entre un modèle général et un modèle de décision correspond au budget total du projet.

Là où ils échouent, c’est ce que tout le monde découvre trop tard : les modèles de décision sont étroits par construction. Demandez à quelqu'un de résumer un document, d'écrire une réponse ou de raisonner sur deux éléments de contexte contradictoires et vous obtenez quelque chose de petit et de faux en toute confiance. Ils héritent également des préjugés inhérents à leur formation : un classificateur formé sur les décisions passées reproduira les décisions passées, y compris les mauvaises, sans aucune capacité à remarquer le modèle.

L'architecture qui fonctionne est en couches, et c'est la partie véritablement utile. Placez le modèle de décision au premier plan, là où il filtre le trafic de routine - classifier, acheminer, noter - et laisser seuls les cas incertains passer au grand modèle. La majeure partie de votre volume n'a jamais besoin du niveau coûteux, et ce dernier peut consacrer son budget aux cas où un humain attend réellement.

Le modèle mental auquel je reviens sans cesse : utilisez un modèle qui écrit de la prose lorsque vous avez besoin de prose, et utilisez un modèle qui renvoie une étiquette lorsque vous avez besoin d'une étiquette. Les gens optent par défaut pour le modèle frontière parce que c'est celui qu'ils connaissent, puis paient tranquillement pour les paragraphes qu'ils allaient jeter. La question qui mérite d’être posée n’est pas de savoir dans quelle mesure le modèle est intelligent, mais quelle forme doit prendre la réponse.

Questions fréquemment posées :

Q : Qu'est-ce qu'un modèle de décision IA ?

R : Un petit modèle conçu pour renvoyer une réponse saisie - une étiquette, une partition, un choix de routage - en un seul passage, au lieu de générer du texte. Il s'agit généralement d'une fraction de la taille et du coût d'un assistant général, ce qui rend l'automatisation à haut volume abordable.

Q : Quand dois-je utiliser un modèle de décision au lieu de ChatGPT ou Claude ?

R : Lorsque la tâche est une classification déguisée (filtrage anti-spam, triage des tickets, routage, approbation ou escalade, déduplication) et que la réponse est une étiquette. Utilisez un modèle général lorsque vous avez besoin de prose, de raisonnement contextuel ou de tout ce qu'une personne peut lire.

Q : Les modèles de décision remplacent-ils les grands modèles ?

R : Ils remplacent les gros modèles à l’avant du pipeline, pas au milieu. Le modèle qui fonctionne est d'abord une classification bon marché, puis une génération coûteuse, ce qui permet de gérer la majeure partie du volume pour une fraction du coût.