El modelo de codificación abierta de NVIDIA se ejecuta en su escritorio. La nube acaba de perder un empleo.
Recursive Flint es un modelo abierto de 40B que codifica localmente a 220 tokens por segundo. Esa es una línea en la arena.
Además del hardware, NVIDIA presentó Recursive Flint, un modelo de codificación de combinación de expertos de 40 mil millones de parámetros con pesos abiertos bajo Apache 2.0, que reportó más de 220 tokens por segundo en hardware RTX Spark.
Un modelo tan bueno, tan pequeño y tan local significa que muchas tareas de codificación de 'enviarlo a la API' pueden permanecer en la máquina. La latencia disminuye y su código nunca sale de la caja.
No reemplazará el modelo de frontera para los trabajos de razonamiento difícil. Pero el 80 por ciento de rutina (repetición, pruebas, refactorizaciones) ahora tiene una opción privada y gratuita.
Si crea herramientas de desarrollo, planifique que modelos locales realicen las piezas aburridas. La nube deja de ser el único lugar donde se escribe el código.