Un ordinateur de bureau qui exécute un modèle comportant des milliards de paramètres est un piège et un outil

La station DGX de NVIDIA pour Windows, présentée le 7 octobre, contient 748 Go de mémoire cohérente et jusqu'à 20 pétaflops, présentée comme inférence locale pour des modèles proches d'un billion de paramètres. C'est dû au quatrième trimestre.

Le piège est le partage de la mémoire. Les rapports indiquent que le SKU de mémoire unifiée de 128 Go n'expose qu'environ 110 Go au GPU une fois que Windows prend sa part. Cela décide quel modèle convient réellement une fois que les poids, le cache et le temps d'exécution sont en concurrence pour le reste.

Alors lisez les spécifications que vous achèteriez réellement, pas le titre. L’allégation de mille milliards de paramètres concerne le gros SKU ; votre bureau aura probablement le plus petit.

Utilisé honnêtement, c'est un véritable outil pour les équipes qui ne peuvent pas envoyer de données vers le cloud. Utilisé comme symbole de statut, c'est un moyen coûteux de faire fonctionner un modèle qui s'adapte à des équipements moins chers.