L'inondation de poids ouvert signifie que j'auto-héberge enfin les éléments sensibles

La méta ouverture de Muse Spark Open et Mistral promettant les poids de Large 4 est le début de quelque chose de pratique, pas seulement idéologique.

Pour les équipes qui ne peuvent pas envoyer de données à l'API de quelqu'un d'autre, l'auto-hébergement signifiait auparavant un modèle plus faible. Cet écart se réduit. Un modèle comportant des milliards de paramètres que vous pouvez télécharger modifie la signification de « IA privée ».

Le problème, ce sont les opérations. Les poids ouverts signifient que vous possédez les serveurs, les garde-corps et le blâme. Pour un développeur solo, cela représente un GPU ; pour une entreprise, c'est une plateforme et une location.

Je ne supprime pas mes abonnements API. Je déplace la seule charge de travail pour laquelle les données quittant le bâtiment n'étaient jamais acceptables pour le matériel que je contrôle.

L'hybride – louer la frontière, posséder le sensible – est devenu beaucoup plus pratique ce mois-ci, et c'est l'histoire qui mérite d'être suivie.