Mẫu mới thả? Nó nhanh hơn, không thông minh hơn

Mỗi bản phát hành đều được bán như một bước nhảy vọt. Rất nhiều trong số đó là sự tăng vọt về tốc độ và giá cả với chất lượng tăng nhẹ và hoạt động tiếp thị không đề cập đến loại bạn đang nhận.

Tôi A/B muốn sử dụng hai phiên bản của cùng một mô hình cho các nhiệm vụ thực tế. Cái mới hơn nhanh hơn và rẻ hơn, câu trả lời sắc nét hơn một chút. Có đáng để nâng cấp không? Đối với khối lượng, có. Đối với một vấn đề khó khăn duy nhất, hầu như không.

Sự cường điệu huấn luyện chúng ta theo đuổi giới hạn khi mô hình cuối cùng đã đủ tốt. Hầu hết công việc không bị cản trở bởi chất lượng mô hình; nó bị cản trở bởi cách chúng tôi hỏi rõ ràng.

Xem điểm chuẩn quan trọng với bạn, độ trễ, chi phí cho mỗi nhiệm vụ chứ không phải tiêu đề trên bảng xếp hạng. Một mô hình nhanh hơn mà bạn thực sự sẽ sử dụng sẽ đánh bại một mô hình thông minh hơn mà bạn không đủ khả năng để chạy.

Đừng nâng cấp về sự rung cảm. Những giọt nước này là có thật, nhưng chúng thường là cơ sở hạ tầng chứ không phải thông tin tình báo. Rẻ hơn và nhanh hơn là một chiến thắng; chỉ cần gọi nó là gì.