Máy tính để bàn chạy mô hình nghìn tỷ tham số là một cái bẫy và một công cụ

Trạm DGX dành cho Windows của NVIDIA, được ra mắt vào ngày 7 tháng 10, có bộ nhớ kết hợp 748GB và tối đa 20 petaflop, được coi là suy luận cục bộ cho các mô hình gần một nghìn tỷ tham số. Hạn nộp vào quý 4.

Cái bẫy là sự phân chia bộ nhớ. Các báo cáo cho thấy SKU bộ nhớ hợp nhất 128GB chỉ hiển thị khoảng 110GB cho GPU sau khi Windows chiếm lấy phần của nó. Điều đó quyết định mô hình nào thực sự phù hợp khi trọng lượng, bộ đệm và thời gian chạy cạnh tranh với phần còn lại.

Vì vậy, hãy đọc thông số kỹ thuật bạn thực sự muốn mua chứ không phải dòng tiêu đề. Tuyên bố về thông số nghìn tỷ là dành cho SKU béo; bàn làm việc của bạn có thể có cái nhỏ hơn.

Nếu sử dụng một cách trung thực thì đây là một công cụ thực sự dành cho những nhóm không thể gửi dữ liệu lên đám mây. Được sử dụng làm biểu tượng trạng thái, đó là một cách tốn kém để chạy một mô hình phù hợp với thiết bị rẻ hơn.