Les petits modèles mangent la démo
L'impressionnante démo en direct est de plus en plus un petit modèle qui fait parfaitement une chose étroite. La frontière est pour la plupart exagérée.
Regardez les démos récemment et un motif apparaît : la partie flashy est généralement un petit modèle spécialisé effectuant un travail avec une précision effrayante, pas un géant de la frontière. Un décideur de 27 milliards de paramètres pour le routage des tickets de support, un petit modèle de transcription battant Whisper sur un processeur, un modèle de 2 milliards faisant un appel oui/non pour quelques centimes.
C'est la bonne architecture. Les modèles Frontier sont d'excellents généralistes et d'une valeur terrible pour une tâche que vous exécutez dix millions de fois. La situation économique s’inverse une fois que le volume est élevé : un modèle de décision à 0,04 $ par million écrase un modèle à 2 $ sur la même étiquette.
Pour les constructeurs, cela signifie qu’il est souvent judicieux de commencer modestement. Prouvez que la tâche fonctionne avec un modèle ciblé, puis passez à un modèle frontière uniquement pour les cas qui en ont réellement besoin. La plupart des pipelines sont à 95 % routiniers et à 5 % difficiles, et traiter tout cela comme une classe frontière est la façon dont les budgets explosent.
La démo qui gagnera l'année prochaine ne sera pas « regardez quelle est la taille de notre modèle ». Ce sera « regardez combien cela coûte peu de faire cela parfaitement ». Les petits modèles mangeant la démo ne sont que la réalité des coûts qui arrivent dans les délais.