Lời nhắc lưu trữ môi trường sống của OpenAI: Cơ sở hạ tầng thắng lợi, không chỉ các mô hình

OpenAI đã mô tả cách lớp lưu trữ Habitat phục vụ hơn một tỷ người dùng ChatGPT với tốc độ đọc nhanh hơn 12 lần. Đây là câu chuyện AI ít gợi cảm nhất trong tuần nhưng lại là câu chuyện quan trọng nhất.

Một mô hình chỉ tốt khi hệ thống cung cấp nó. Một tỷ người dùng có nghĩa là một tỷ lượt đọc đồng thời và việc đọc chậm sẽ biến một câu trả lời xuất sắc thành một câu trả lời khiến mọi người bỏ rơi.

Chúng ta bị ám ảnh bởi các thông số và điểm chuẩn mà bỏ qua hệ thống ống nước giúp sản phẩm có cảm giác tức thì. Hệ thống ống nước là lý do tại sao ChatGPT là một thói quen chứ không phải một dự án khoa học.

Nếu bạn xây dựng bất kỳ thứ gì ở quy mô lớn, hãy nghiên cứu lớp lưu trữ chứ không chỉ lời nhắc. Mô hình nhận được ảnh chụp màn hình. Cơ sở hạ tầng có được người dùng.