Le modèle de codage ouvert de NVIDIA s'exécute sur votre bureau. Le cloud vient de perdre un emploi.
Recursive Flint est un modèle ouvert de 40 B qui code localement à 220 jetons par seconde. C'est une ligne dans le sable.
Parallèlement au matériel, NVIDIA a introduit Recursive Flint, un modèle de codage combinant 40 milliards de paramètres et des poids ouverts sous Apache 2.0, rapportant plus de 220 jetons par seconde sur le matériel RTX Spark.
Un modèle aussi bon, aussi petit et local signifie que de nombreuses tâches de codage « l'envoyer à l'API » peuvent rester sur la machine. La latence diminue et votre code ne quitte jamais la boîte.
Cela ne remplacera pas le modèle frontière pour les travaux de raisonnement difficile. Mais les 80 % de routine – passe-partout, tests, refactorisations – disposent désormais d’une option gratuite et privée.
Si vous créez des outils de développement, prévoyez des modèles locaux effectuant les parties ennuyeuses. Le cloud n’est plus le seul endroit où le code est écrit.