NVIDIA 的开放编码模型可在您的桌面上运行。云刚刚失业了。
递归 Flint 是一个 40B 开放模型,以每秒 220 个令牌的速度进行本地编码。这是沙子里的一条线。
除了硬件之外,NVIDIA 还推出了 Recursive Flint,这是一种在 Apache 2.0 下具有开放权重的 400 亿参数混合专家编码模型,据报告在 RTX Spark 硬件上每秒超过 220 个令牌。
一个那么好的、那么小的、本地化的模型意味着很多“将其发送到 API”的编码任务可以保留在机器上。延迟下降,您的代码永远不会离开盒子。
它不会取代硬推理工作的前沿模型。但 80% 的例程——样板文件、测试、重构——现在有了免费、私有的选择。
如果您构建开发工具,请计划本地模型来完成无聊的部分。云不再是编写代码的唯一地方。
