Ein Desktop, auf dem ein Billionen-Parameter-Modell ausgeführt wird, ist eine Falle und ein Werkzeug

NVIDIAs DGX Station für Windows, die am 7. Oktober vorgestellt wurde, verfügt über 748 GB kohärenten Speicher und bis zu 20 Petaflops, die als lokale Inferenz für Modelle mit nahezu einer Billion Parametern gedacht sind. Es ist im vierten Quartal fällig.

Die Falle ist die Speicheraufteilung. Berichten zufolge stellt die 128-GB-Unified-Memory-SKU nur etwa 110 GB für die GPU bereit, sobald Windows ihren Anteil übernimmt. Das entscheidet darüber, welches Modell tatsächlich passt, wenn Gewichte, Cache und Laufzeit um den Rest konkurrieren.

Lesen Sie also die Spezifikation, die Sie wirklich kaufen würden, nicht die Überschrift. Der Billionen-Parameter-Anspruch gilt für die fette SKU; Ihr Schreibtisch bekommt wahrscheinlich den kleineren.

Ehrlich gesagt ist es ein echtes Tool für Teams, die keine Daten in die Cloud senden können. Als Statussymbol verwendet, ist es eine teure Möglichkeit, ein Modell zu betreiben, das auf billigere Ausrüstung passt.