Điểm chuẩn sẽ không dự đoán quy trình làm việc của bạn (Vì vậy hãy ngừng chọn công cụ theo bảng điểm)
Bảng xếp hạng cho biết một mô hình là tốt nhất. Nhiệm vụ thực tế của bạn không đồng ý. Tại sao delta chuẩn là con số ít phù hợp nhất trong các quyết định về công cụ của bạn và thay vào đó cần đo lường những gì.
Cứ sau vài tuần, lại có một mô hình mới đứng đầu các điểm chuẩn, chuỗi khởi chạy tuyên bố mọi thứ đã thay đổi và hàng nghìn người chuyển đổi công cụ chỉ sau một đêm để theo đuổi bảng điểm. Tôi đã tự mình làm việc này trong một năm, rồi nhận thấy một điều đáng xấu hổ: kết quả công việc của tôi không có mối tương quan nào với vị trí trên bảng xếp hạng của các công cụ tôi sử dụng. Khoảng cách giữa hiệu suất chuẩn và hiệu suất quy trình làm việc không phải là lỗi làm tròn. Nó mang tính cấu trúc và hiểu lý do tại sao lại thay đổi cách bạn nên chọn công cụ.
Lý do mang tính cấu trúc đầu tiên: các nhiệm vụ kiểm tra điểm chuẩn, bạn có quy trình làm việc. Một câu hỏi chuẩn là câu hỏi khép kín, có câu trả lời có thể kiểm chứng được, được thực hiện bởi một mô hình mới không có ngữ cảnh. Công việc của bạn đến giữa dự án, được gói gọn trong lịch sử, quy ước, ràng buộc của bạn và kết quả đầu ra của bạn phải tích hợp với mọi thứ khác mà bạn đã thực hiện trong tháng này. Thiên tài một lượt không thể nhớ quyết định của ngày hôm qua sẽ ít hữu ích hơn với bạn so với mô hình hơi kém xuất sắc phù hợp với quy trình của bạn và các điểm chuẩn không thể nhìn thấy các quy trình.
Thứ hai: điểm chuẩn trung bình, công việc của bạn thì không. Bảng điểm là giá trị trung bình của hàng nghìn nhiệm vụ và khối lượng công việc thực tế của bạn là sự phân bổ sai lệch của sáu loại nhiệm vụ. Một mô hình trung bình thấp hơn ba điểm có thể tốt hơn đáng kể đối với kết hợp cụ thể của bạn và con số tổng hợp ở đây không chỉ không mang tính thông tin mà còn gây hiểu lầm vì nó định giá những công việc bạn không bao giờ làm và giảm giá những công việc bạn làm cả ngày. Tôi đã chứng kiến một người mẫu xếp hạng thấp hơn liên tục đánh bại nhà vô địch trong các nhiệm vụ liền kề với phiên âm của tôi trong một phần tư trong khi ngành công nghiệp ăn mừng điểm số mới của nhà vô địch.
Thứ ba: những con số đo lường khả năng, bạn sẽ trải nghiệm được độ tin cậy. Một mô hình xuất sắc đến chín mươi phần trăm và chắc chắn sai trong số còn lại có thể đạt điểm cao hơn một mô hình tốt trong chín mươi lăm phần trăm thời gian và đánh dấu sự không chắc chắn của nó, nhưng đối với công việc chuyên môn, mô hình thứ hai có giá trị hơn, bởi vì chi phí xem xét của bạn không tuyến tính về tính chính xác, nó bị chi phối bởi những thất bại trông giống như thành công. Điểm chuẩn hiếm khi định giá sự phân bổ lỗi và phân bổ lỗi là chi phí thực sự của bạn.
Người thay thế mà tôi đã chọn có công nghệ thấp đến mức đáng xấu hổ: một chuẩn mực cá nhân, được xây dựng từ tháng làm việc cuối cùng của tôi. Mười đến mười lăm nhiệm vụ thực tế, được lưu cùng với thông tin đầu vào và tiêu chuẩn mà họ phải đáp ứng, chạy lại dựa trên bất kỳ công cụ ứng viên nào, tính điểm dựa trên kết quả và chi phí đánh giá, chứ không phải mức độ ấn tượng. Phải mất một buổi chiều để xây dựng và nó đã dự đoán chính xác mức độ hài lòng của tôi với mọi lựa chọn công cụ kể từ đó, theo cách mà chưa có bảng xếp hạng nào làm được. Các tiêu chuẩn công khai vẫn quan trọng, để theo dõi ranh giới và để lựa chọn giữa các mô hình mà bạn không biết gì về nó. Nhưng đối với những công cụ liên quan đến công việc hàng ngày của bạn, bảng điểm duy nhất dự đoán mọi thứ là của riêng bạn và bạn là người duy nhất có thể xây dựng nó.