Kiểm tra các công cụ AI bằng công việc thực tế chứ không phải nhiệm vụ demo

Mọi bản dùng thử công cụ AI đều tuân theo cùng một vòng cung: bản demo gây ấn tượng, bản dùng thử miễn phí gây ấn tượng, bạn đăng ký và ở đâu đó trong tuần thứ ba, bạn nhận thấy mình đang sử dụng nó ít hơn quy trình làm việc cũ bị hỏng của mình. Khoảng cách giữa hiệu suất demo và mức độ hữu ích hàng ngày là mô hình đáng tin cậy nhất trong ngành này và cách khắc phục là một nguyên tắc mà tôi hiện áp dụng cho mọi thử nghiệm: không bao giờ đánh giá dựa trên chất liệu của công cụ, chỉ dựa trên chất liệu của công cụ.

Nhiệm vụ demo là tài liệu đã được chuẩn bị sẵn và điều này đúng cho dù nhà cung cấp đã chuẩn bị hay bạn đã chuẩn bị. Bản PDF bạn tải lên để kiểm tra trình tóm tắt thường là tài liệu có cấu trúc tốt mà bạn đã hiểu rõ, ảnh dành cho công cụ hình ảnh là loại hình ảnh luôn hoạt động, cuộc họp dành cho công cụ phiên âm là hình ảnh có âm thanh rõ ràng. Công việc thực tế phức tạp hơn theo những cách cụ thể, quá trình quét tệ, nhiễu xuyên âm, yêu cầu không rõ ràng, thuật ngữ miền và những cách cụ thể đó là điểm khiến các công cụ thực sự khác biệt. Một bản tóm tắt tỏa sáng trên một tờ giấy sạch sẽ có thể thu gọn lại bản hợp đồng nặng 90 trang phụ lục mà bạn thực sự cần tóm tắt vào thứ Năm.

Giao thức dùng thử của tôi hiện đã được sửa: một nhiệm vụ thực tế, nhiệm vụ đang ngồi trên bàn của tôi trong tuần này và công cụ sẽ thực hiện nó từ đầu đến cuối hoặc nó không vượt qua. Không phải là một phiên bản đơn giản hóa của nhiệm vụ, không phải phần có vẻ công bằng đối với công cụ, toàn bộ sự việc, bao gồm cả những đầu vào xấu và định dạng đầu ra mà tôi thực sự sẽ sử dụng. Quy tắc toàn bộ tác vụ phát hiện các lỗi tích hợp mà các bài kiểm tra tính năng đơn lẻ bỏ sót: công cụ phiên âm đóng vai trò quan trọng trong âm thanh nhưng không thể xuất đến nơi ghi chú của tôi trực tiếp không thể thử nghiệm trên nút xuất.

Thêm một nhiệm vụ phá hoại cho mỗi lần dùng thử vì các công cụ được tối ưu hóa theo mong đợi. Đưa nó vào trường hợp Edge mà bạn biết tồn tại trong công việc của mình, cuộc họp bằng hai ngôn ngữ, bản tóm tắt thiết kế với các yêu cầu trái ngược nhau, tệp dữ liệu có hàng bị hỏng. Những công cụ thất bại một cách duyên dáng, gắn cờ những gì chúng không thể làm, có giá trị hơn những công cụ thất bại một cách tự tin và nhiệm vụ phá hoại là cách duy nhất để biết bạn đang mua loại nào trước khi đăng ký thực hiện điều đó cho bạn vào thời điểm tồi tệ nhất.

Hệ quả tất yếu: hầu hết các công cụ sẽ không thực hiện được giao thức này và đó chính là vấn đề. Trong số hàng tá thử nghiệm gần đây nhất mà tôi thực hiện theo cách này, có ba thử nghiệm đã thành công và hai trong số đó đã trở thành gói đăng ký mà tôi vẫn trả tiền. Những thử nghiệm thất bại không phải là lãng phí thời gian mà là học phí rẻ so với giải pháp thay thế, một năm trả tiền cho một công cụ xử lý cuộc sống demo của bạn trong khi công việc thực sự của bạn được thực hiện theo cách cũ. Công việc thực sự là tiêu chuẩn duy nhất quan trọng và nó luôn có sẵn một cách thuận tiện.