수조 매개변수 모델을 실행하는 데스크탑은 함정이자 도구입니다

10월 7일에 공개된 Windows용 NVIDIA의 DGX 스테이션은 748GB의 일관된 메모리와 최대 20페타플롭을 제공하며, 1조 매개변수에 가까운 모델에 대한 로컬 추론으로 제시됩니다. 4분기 예정이다.

함정은 메모리 분할입니다. 보고서에 따르면 128GB 통합 메모리 SKU는 Windows가 점유율을 차지하면 GPU에 약 110GB만 노출됩니다. 가중치, 캐시 및 런타임이 나머지 모델과 경쟁하면 실제로 어떤 모델이 적합한지 결정됩니다.

따라서 헤드라인이 아닌 실제로 구매하고 싶은 사양을 읽어보세요. 1000조 매개변수 주장은 뚱뚱한 SKU에 대한 것입니다. 당신의 책상은 아마도 더 작아질 것입니다.

정직하게 사용하면 데이터를 클라우드로 보낼 수 없는 팀을 위한 실제 도구입니다. 상태 기호로 사용되는 것은 더 저렴한 장비에 맞는 모델을 실행하는 데 비용이 많이 드는 방법입니다.