兆パラメータモデルを実行するデスクトップは罠でありツールである

10 月 7 日に公開された NVIDIA の Windows 用 DGX Station は、748GB のコヒーレント メモリと最大 20 ペタフロップスを搭載しており、1 兆個に近いパラメータのモデルに対するローカル推論としてピッチされています。第4四半期に完成する予定だ。

罠はメモリの分割です。レポートによると、Windows がシェアを奪うと、128 GB ユニファイド メモリ SKU は GPU に約 110 GB しか公開されなくなります。これにより、重み、キャッシュ、ランタイムが残りの部分と競合したときに、どのモデルが実際に適合するかが決まります。

したがって、見出しではなく、本当に購入するスペックを読んでください。兆パラメータの要求はファット SKU に対するものです。あなたのデスクはおそらく小さいほうのデスクになるでしょう。

正直に使用すると、クラウドにデータを送信できないチームにとっては真のツールです。ステータスシンボルとして使用されるこの方法は、安価なギアに適合するモデルを実行するための高価な方法です。