Das Open-Coding-Modell von NVIDIA läuft auf Ihrem Schreibtisch. Die Cloud hat gerade einen Job verloren.
Recursive Flint ist ein offenes 40B-Modell, das lokal mit 220 Token pro Sekunde codiert. Das ist eine Linie im Sand.
Neben der Hardware führte NVIDIA Recursive Flint ein, ein 40-Milliarden-Parameter-Mix-of-Experten-Codierungsmodell mit offenen Gewichten unter Apache 2.0, das auf RTX Spark-Hardware über 220 Token pro Sekunde meldet.
Ein so gutes, so kleines, so lokales Modell bedeutet, dass viele Codierungsaufgaben „an die API senden“ auf dem Computer verbleiben können. Die Latenz sinkt und Ihr Code verlässt nie die Box.
Es wird nicht das Grenzmodell für die Aufgaben des harten Denkens ersetzen. Aber die routinemäßigen 80 Prozent – Boilerplate, Tests, Refactors – haben jetzt eine kostenlose, private Option.
Wenn Sie Entwicklungswerkzeuge bauen, planen Sie, dass lokale Modelle die langweiligen Teile übernehmen. Die Cloud ist nicht mehr der einzige Ort, an dem Code geschrieben wird.