Tôi đã ngừng tin tưởng vào điểm chuẩn AI sau một tuần tồi tệ

Trong một thời gian, tôi đã chọn các mô hình theo bảng xếp hạng, và sau đó một mô hình đứng đầu ba bảng xếp hạng đã viết cho tôi một đoạn văn chắc chắn sai về một quy định về thuế. Điểm chuẩn cho biết nó rất thông minh. Đoạn văn nói rằng nó không biết nó đang nói về cái gì.

Điểm chuẩn đo lường một phần công việc hẹp và rõ ràng. Các nhiệm vụ thực sự rất lộn xộn, không được xác định cụ thể và chứa đầy bối cảnh mà bài kiểm tra không đưa vào. Một mô hình đạt tiêu chuẩn lý luận vẫn có thể tạo ra một trích dẫn cho câu hỏi cụ thể của bạn.

Điều tôi tin tưởng bây giờ là con số xuất phát từ mục đích sử dụng của chính tôi: tần suất tôi phải kiểm tra lại kết quả đầu ra của nó trước khi ghi tên mình vào đó. Đó là điểm chuẩn mà bạn xây dựng bằng cách thực hiện công việc chứ không phải bằng cách đọc biểu đồ mà ai đó đã xuất bản.

Các phòng thí nghiệm biết điều này. Đó là lý do tại sao họ đưa ra các mô hình lộ trình và nỗ lực tư duy có thể điều chỉnh: họ thừa nhận điểm trung bình che giấu phần quan trọng, đó là liệu nó có phù hợp với công việc của bạn hay không.

Đọc các điểm chuẩn để biết xu hướng chứ không phải phán quyết. Sau đó, hãy chạy bài kiểm tra ba mươi ví dụ của riêng bạn về việc bạn thực sự làm và lấy đó là con số bạn nhớ được.