Người mẫu nhỏ đang ăn thử bản demo
Bản demo trực tiếp ấn tượng ngày càng trở thành một mô hình nhỏ bé thực hiện một việc hẹp một cách hoàn hảo. Biên giới là quá mức cần thiết cho hầu hết nó.
Gần đây, hãy xem các cuộn phim demo và một mô hình xuất hiện: phần hào nhoáng thường là một mô hình nhỏ, chuyên dụng đang thực hiện một công việc với độ chính xác đáng sợ, không phải là một người khổng lồ ở biên giới. Một vé hỗ trợ định tuyến cho người quyết định 27 tỷ tham số, một mô hình phiên mã nhỏ đánh bại Whisper trên CPU, một mô hình 2 tỷ thực hiện yêu cầu có/không để kiếm từng xu.
Đây là kiến trúc phù hợp. Các mô hình biên giới là những mô hình tổng quát tuyệt vời và có giá trị khủng khiếp đối với một nhiệm vụ bạn thực hiện mười triệu lần. Nền kinh tế khó khăn khi khối lượng giao dịch tăng cao: mô hình quyết định 0,04 đô la trên một triệu đô la sẽ đè bẹp mô hình quyết định 2 đô la trên cùng một nhãn.
Đối với các nhà xây dựng, điều đó có nghĩa là bước đi thông minh thường là bắt đầu từ việc nhỏ. Chứng minh nhiệm vụ hoạt động với một mô hình tập trung, sau đó chuyển sang mô hình biên giới chỉ dành cho những trường hợp thực sự cần nó. Hầu hết các đường ống đều là 95% thông thường và 5% cứng, và việc coi tất cả chúng là loại cấp cao là cách khiến ngân sách bùng nổ.
Bản demo chiến thắng vào năm tới sẽ không phải là 'hãy nhìn xem mô hình của chúng tôi lớn như thế nào'. Sẽ là 'hãy xem chi phí để làm điều này một cách hoàn hảo là bao nhiêu.' Những người mẫu nhỏ ăn demo chỉ là chi phí thực tế đến đúng tiến độ.