NVIDIA のオープン コーディング モデルはデスク上で実行できます。クラウドはまさに仕事を失いました。

NVIDIA は、ハードウェアに加えて、Apache 2.0 でオープン ウェイトを備えた 400 億パラメータの専門家混合コーディング モデルである Recursive Flint を導入しました。これは、RTX Spark ハードウェアで 1 秒あたり 220 トークンを超えると報告されました。

優れたモデル、小規模なモデル、ローカルなモデルであれば、多くの「API に送信する」コーディング タスクをマシン上に残すことができます。レイテンシが低下し、コードが箱から出てくることはありません。

それは、難しい推論の仕事のためのフロンティアモデルに取って代わるものではありません。しかし、ルーチンの 80% (定型文、テスト、リファクタリング) には、無料のプライベート オプションが追加されました。

開発ツールを構築する場合は、退屈な部分を実行するローカル モデルを計画してください。クラウドはコードが記述される唯一の場所ではなくなります。