O modelo de codificação aberta da NVIDIA é executado na sua mesa. A nuvem acaba de perder um emprego.
Flint recursivo é um modelo aberto de 40B que codifica localmente a 220 tokens por segundo. Isso é uma linha na areia.
Junto com o hardware, a NVIDIA lançou o Recursive Flint, um modelo de codificação de mistura de especialistas de 40 bilhões de parâmetros com pesos abertos no Apache 2.0, relatado acima de 220 tokens por segundo no hardware RTX Spark.
Um modelo tão bom, tão pequeno, tão local significa que muitas tarefas de codificação do tipo 'enviar para a API' podem permanecer na máquina. A latência cai e seu código nunca sai da caixa.
Não substituirá o modelo de fronteira para trabalhos de raciocínio difícil. Mas os 80% rotineiros – clichês, testes, refatorações – agora têm uma opção gratuita e privada.
Se você criar ferramentas de desenvolvimento, planeje modelos locais fazendo as partes chatas. A nuvem deixa de ser o único lugar onde o código é escrito.