Um desktop que executa um modelo de trilhões de parâmetros é uma armadilha e uma ferramenta
A estação DGX da NVIDIA promete inferência local de trilhões de parâmetros. A matemática da memória é o problema.
O DGX Station para Windows da NVIDIA, exibido em 7 de outubro, contém 748 GB de memória coerente e até 20 petaflops, apresentados como inferência local para modelos próximos a um trilhão de parâmetros. É devido no quarto trimestre.
A armadilha é a divisão da memória. Os relatórios indicam que o SKU de memória unificada de 128 GB expõe apenas cerca de 110 GB à GPU quando o Windows assume sua participação. Isso decide qual modelo realmente se ajusta, uma vez que os pesos, o cache e o tempo de execução competem pelo resto.
Portanto, leia as especificações que você realmente compraria, não o título. A reivindicação de trilhões de parâmetros é para o SKU gordo; sua mesa provavelmente fica com a menor.
Usado honestamente, é uma ferramenta real para equipes que não conseguem enviar dados para a nuvem. Usado como símbolo de status, é uma maneira cara de executar um modelo que cabe em equipamentos mais baratos.