Khu liên hợp công nghiệp chuẩn đang nói dối bạn
Mọi mô hình đều "đánh bại GPT ở điểm chuẩn này." Hầu như không có con số nào trong số đó có ý nghĩa như dòng tweet ngụ ý.
Điểm chuẩn là một bài kiểm tra do ai đó viết. Thời điểm một người mẫu được đào tạo để đạt được thành tích đó, bài kiểm tra không còn đo lường được những gì bạn nghĩ nó đo được nữa. Đây không phải là một âm mưu. Đó chỉ là cách đo lường hoạt động.
Tôi đã mất số lượng thông báo trong đó một mô hình "vượt qua hiệu suất của con người" trong nhiệm vụ X và nhiệm vụ X hóa ra là một bài kiểm tra trắc nghiệm với đáp án đã biết mà mô hình có thể đã thấy.
Các điểm chuẩn trung thực là những điểm nhàm chán: nó có trả lời chính xác các phiếu hỗ trợ thực tế của tôi không, trên dữ liệu thực tế của tôi, hầu hết thời gian. Không ai tweet điều đó vì đó không phải là con số bạn có thể đưa lên bảng xếp hạng.
Khi bạn đánh giá một công cụ, hãy bỏ qua bảng xếp hạng. Hãy thực hiện nó trên mười việc thực tế mà bạn làm. Bảng điểm là để gây quỹ. Hộp thư đến của bạn là sự thật.
Không có điều nào trong số này có nghĩa là các mô hình là xấu. Họ rất tốt. Chúng chỉ không hay bằng những thông cáo báo chí của chính chúng, và không tệ như những lời chỉ trích của các nhà phê bình.
Cập nhật ngày 28 tháng 10 năm 2026: lời khuyên đánh giá bên dưới là một phần của tác phẩm này đã có từ lâu đời - nó đã được áp dụng cho mọi thế hệ mô hình kể từ đó.
Các câu hỏi thường gặp:
Hỏi: Tại sao điểm chuẩn AI lại gây hiểu lầm?
Đáp: Điểm chuẩn là một bài kiểm tra do ai đó viết. Một khi một mô hình đã được đào tạo để đạt thành tích xuất sắc, bài kiểm tra sẽ không còn đo lường được những gì bạn nghĩ nó đo được nữa. Đó là cách đo lường hoạt động, không phải là một âm mưu.
Câu hỏi: Thay vào đó, tôi nên đánh giá một mô hình AI như thế nào?
Đáp: Chạy nó trên mười việc thực tế mà bạn thực sự làm - phiếu hỗ trợ, tài liệu, dữ liệu của bạn. Bảng điểm là để gây quỹ. Hộp thư đến của bạn là sự thật.
Hỏi: Điều này có nghĩa là các mô hình này xấu phải không?
A: Không. Họ tốt. Chúng chỉ không hay bằng những thông cáo báo chí của chính chúng, và không tệ như những lời chỉ trích của các nhà phê bình.