Un escritorio que ejecuta un modelo de billones de parámetros es una trampa y una herramienta

La estación DGX de NVIDIA para Windows, mostrada el 7 de octubre, incluye 748 GB de memoria coherente y hasta 20 petaflops, presentada como inferencia local para modelos con cerca de un billón de parámetros. Vence en el cuarto trimestre.

La trampa es la memoria dividida. Los informes indican que el SKU de memoria unificada de 128 GB expone sólo unos 110 GB a la GPU una vez que Windows toma su parte. Eso decide qué modelo realmente se ajusta una vez que los pesos, el caché y el tiempo de ejecución compiten por el resto.

Así que lea las especificaciones que realmente compraría, no el titular. La afirmación del billón de parámetros es para el SKU gordo; Probablemente tu escritorio sea el más pequeño.

Si se usa honestamente, es una herramienta real para equipos que no pueden enviar datos a la nube. Utilizado como símbolo de estatus, es una forma costosa de ejecutar un modelo que se adapta a equipos más baratos.