Cách đánh giá một công cụ AI mới trong 30 phút (Trước khi sử dụng hết một ngày cuối tuần)

Vấn đề khi đánh giá các công cụ AI không phải là khó mà là nó không có giới hạn. Một thử nghiệm có thể ăn một ngày cuối tuần theo cấu hình, một tuần so sánh và một phần tư trong tình trạng lấp lửng được áp dụng một nửa. Tôi đã nén đánh giá của mình trong ba mươi phút với một giao thức cố định và tính tàn bạo của nó chính là đặc điểm: hầu hết các công cụ sẽ thất bại trong vòng mười phút và những công cụ tồn tại xứng đáng để bạn dành thời gian.

Phút thứ 1 đến phút thứ 5: viết mô tả công việc trước khi chạm vào sản phẩm. Một câu cho nhiệm vụ mà nó phải làm, một câu cho cách nó phải kết nối với những gì đã tồn tại, một câu cho những ràng buộc có thể khiến bạn từ bỏ, giá cả, quyền riêng tư, định dạng đầu ra. Đây là danh sách kiểm tra mà bản demo không thể thương lượng và việc viết nó trước sẽ ngăn việc đánh giá chuyển sang ngưỡng mộ. Bạn không mua sắm những thứ ấn tượng; bạn đang tuyển dụng cho một vị trí tuyển dụng.

Từ sáu đến mười lăm phút: một nhiệm vụ thực sự, từ đầu đến cuối. Không phải tệp mẫu trong quy trình triển khai, mà là tệp thực tế từ bàn làm việc thực tế của bạn trong tuần này, với các đầu vào xấu xí và các yêu cầu đầu ra thực sự của nó. Quy tắc từ đầu đến cuối là nơi các đánh giá tồn tại hoặc chết, bởi vì các công cụ vượt trội ở các bản demo và vấp ngã ở các cạnh, và các cạnh, định dạng xuất, phần tích hợp còn thiếu, cách nó xử lý khối lượng thực tế của bạn, chính xác là những gì bản demo được thiết kế để bỏ qua. Nếu công cụ không thể hoàn thành nhiệm vụ thực sự trong cửa sổ này, đó là một phán quyết chứ không phải là khởi động.

Phút 16 đến 25: hai lần thăm dò thất bại. Đầu tiên, đầu vào xấu: phiên bản trong trường hợp xấu nhất của tài liệu mà công cụ sẽ thực sự nhận được, âm thanh ồn ào, bản tóm tắt mâu thuẫn, tệp bị hỏng, bởi vì bạn cần biết liệu nó bị lỗi lớn hay lỗi đáng tin cậy. Thứ hai, kiểm tra tải: khối lượng thực của bạn, không phải mẫu, vì chi phí theo yêu cầu và giới hạn tốc độ chỉ bộc lộ ở quy mô lớn và một công cụ có giá tốt ở mức mười đơn vị có thể là vô lý ở mức bốn trăm. Lưu ý chính xác nó thất bại như thế nào; một công cụ cho bạn biết điều gì đã xảy ra có giá trị hơn một công cụ tốt hơn một chút nhưng nhún vai.

Phút thứ hai mươi sáu đến ba mươi: quyết định, với ba câu hỏi. Nó có hoàn thành nhiệm vụ thực sự không; những thất bại của nó có truyền đạt được không; và, câu hỏi mà mọi người bỏ qua, chi phí chuyển đổi sẽ là bao nhiêu, bởi vì một công cụ tốt hơn một chút bên trong một ngăn xếp đã được thiết lập thường là một khoản thua lỗ. Sau đó viết một dòng, thuê, từ chối hoặc xem lại có điều kiện và tôn vinh nó. Giá trị của giao thức sẽ tăng lên theo thời gian, bởi vì các phán quyết bằng văn bản sẽ trở thành bản ghi về những gì bạn thực sự đánh giá cao và khuôn mẫu trong quá trình tuyển dụng của chính bạn, những sự tích hợp mà bạn luôn cần, các phương thức sai sót mà bạn không bao giờ tha thứ, là tài liệu yêu cầu sản phẩm hữu ích nhất mà bạn từng viết. Ba mươi phút, hầu hết ứng viên đều chết, những ngày cuối tuần của bạn lại quay trở lại.