Open Weights, fin octobre : Le Chonk de Mistral et la course au téléchargement

Le mur des poids ouverts n’a cessé de se fissurer ce mois-ci. Le Large 4 de Mistral – un modèle multimodal comportant un billion de paramètres au total avec 49 milliards d'actifs et un contexte d'un million de jetons – est en version préliminaire de l'API depuis le 6 octobre, et les poids téléchargeables devraient baisser vers le 27 octobre après l'équipe rouge. Avec un prix de lancement de 0,68 $ entrant / 2,09 $ sortant par million de jetons, il est inférieur à la plupart de ses concurrents fermés en termes de coût.

Beam de Reflection AI, un modèle de mélange d'experts de 501 milliards de paramètres avec un contexte d'un million de jetons destiné au codage et au raisonnement, devrait ouvrir ses pondérations plus tard ce mois-ci sous une licence Apache 2.0. Muse Wonder de Meta, sorti le 12 octobre, coûte 4 $ d'entrée / 20 $ de sortie et serait proche de la frontière, bien que ses données par défaut - il s'entraîne par défaut sur les soumissions des utilisateurs - méritent une lecture attentive avant que quiconque ne s'appuie dessus.

Le schéma est cohérent : les laboratoires fermés gardent la frontière absolue, mais la couche « assez bonne et libre de s'auto-héberger » se remplit rapidement. Pour les équipes qui ne peuvent pas envoyer de données à l'API de quelqu'un d'autre, cette couche est désormais l'endroit où se déroule le véritable travail de production, et ce mois-ci, le menu a été beaucoup plus large.

Le problème n'a pas changé : les pondérations ouvertes signifient que vous êtes propriétaire des opérations : GPU, services, garde-corps et blâme lorsque le modèle dit quelque chose de stupide. Auto-hébergez la seule charge de travail pour laquelle les données quittant le bâtiment ne démarrent pas, et louez le reste. L’hybride est moins cher de toute façon, et octobre l’a rendu pratique.

Je ne supprime pas mes abonnements API. Je déplace la charge de travail sensible vers le matériel que je contrôle, et les versions de ce mois-ci en ont finalement fait une véritable option plutôt qu'une curiosité de recherche.