Kiến thức miền đánh bại các thủ thuật nhắc nhở: Một thử nghiệm không thoải mái

Tôi đã thực hiện một thử nghiệm không thoải mái vào quý trước: một người bạn thu thập các kỹ thuật nhanh chóng và một đồng nghiệp chỉ biết rõ về miền của chúng tôi đã được cung cấp các công cụ AI giống nhau và cùng một vấn đề. Trình thu thập lời nhắc đã tạo ra những lời nhắc thanh lịch hơn. Chuyên gia tên miền đã đưa ra câu trả lời hữu ích. Khoảng cách giữa hai sự thật đó đã sắp xếp lại cách tôi nghĩ về kỹ năng AI.

Cơ chế đã được nhìn thấy trong kết quả đầu ra. Những lời nhắc tao nhã nhìn chung có cấu trúc rõ ràng: vai trò, bối cảnh, ràng buộc, định dạng. Điều mà họ không thể chứa đựng là kiến thức về những ràng buộc nào thực sự quan trọng trong lĩnh vực của chúng ta, những dạng lỗi nào là phổ biến và phần nào của câu trả lời 'đúng' thực sự sai trong thực tế. Những lời nhắc nhở lộn xộn của chuyên gia tên miền đã mang theo tất cả những điều đó.

Điều này giải thích một mô hình mà tôi vẫn thường thấy trong tự nhiên: các chuyên gia có thói quen AI thông thường vượt trội hơn những người đam mê với các hệ thống phức tạp. Nó không bao giờ là về sự thúc giục. Lời nhắc bốn câu của chuyên gia chứa đựng hai mươi năm đặc tả ngầm, và đặc tả luôn là phần khó. Kỹ thuật nhắc nhở tối ưu hóa 20 phần trăm dễ dàng.

Ý nghĩa khó chịu đối với ngành công nghệ nhắc nhở: phần lớn là dạy mọi người cách tối ưu hóa bộ phận chưa bao giờ là nút thắt cổ chai. Có những kỹ thuật thực sự (kết quả đầu ra có cấu trúc, ví dụ vài lần, kỷ luật lặp lại), nhưng chúng chỉ là 10% cuối cùng và chúng vô giá trị nếu không có kiến thức về lĩnh vực cho bạn biết cần yêu cầu điều gì.

Cách làm của tôi cũng thay đổi theo đó: Tôi ngừng tìm kiếm các thủ thuật nhắc nhở và bắt đầu viết các ghi chú tên miền, các tài liệu 'điều quan trọng và điều gì thường xảy ra' để cung cấp lời nhắc của tôi. Lời nhắc ngắn hơn và kết quả đầu ra tốt hơn, đó là kết quả của thí nghiệm chỉ trong một câu: kiến thức luôn là lời nhắc.