Điểm chuẩn của các mô hình hình ảnh AI bị hỏng nhiều hơn mọi người thừa nhận
Bảng xếp hạng quyết định bạn thử mô hình nào. Hầu hết trong số họ đo lường sai và các mô hình được đào tạo để giành chiến thắng.
Mỗi tháng, một điểm chuẩn hình ảnh mới sẽ vinh danh người chiến thắng và mỗi tháng người chiến thắng đều thực hiện tốt chính xác điểm chuẩn đó một cách đáng ngờ. Đó không phải là sự trùng hợp ngẫu nhiên; các mô hình được điều chỉnh để thử nghiệm.
Các số liệu được công bố - điểm độ trung thực, tỷ lệ ưu tiên - hiếm khi ánh xạ tới những gì tôi cần: văn bản trên hình ảnh có hiển thị không, bàn tay có năm ngón không, liệu nó có phù hợp với thương hiệu của tôi không. Những điểm đó rất khó ghi điểm nên bị bỏ qua.
Tệ hơn nữa, bảng ưu tiên của con người thiên về 'trông ấn tượng' hơn là 'thực hiện được công việc'. Một kết xuất hào nhoáng đánh bại kết quả đúng trong một cuộc bỏ phiếu và bảng xếp hạng theo sau cuộc bỏ phiếu.
Bây giờ tôi kiểm tra các mô hình hình ảnh trên danh sách kiểm tra ba nhiệm vụ của riêng mình thay vì đọc bảng. Nó chậm hơn nhưng nó cho tôi biết tôi sẽ thực sự gửi những gì.