Cửa sổ bối cảnh gần như khiến tôi phải trả giá bằng một quyết định thực sự

Tôi đã mua quảng cáo chiêu hàng bối cảnh lớn trong một năm. Một mô hình đọc toàn bộ ổ đĩa của bạn trong một lần hẳn phải thông minh hơn, phải không? Sau đó, tôi đưa cho một người một bản hợp đồng dài 200 trang và hỏi tôi đồng ý với điều gì, và nó đưa cho tôi một bản tóm tắt ngắn gọn, đầy tự tin nhưng bỏ sót ba điều khoản thực sự quan trọng.

Đây là lời nói dối: kích thước cửa sổ ngữ cảnh được bán dưới dạng mức độ hiểu. Không phải vậy. Một mô hình có thể chứa hàng triệu token mà vẫn cố định một câu sai. Con số cho bạn biết bạn có thể dán vào bao nhiêu, chứ không phải mức độ lý giải về nội dung bên trong. Tôi đã nhầm lẫn việc lưu trữ với sự hiểu biết.

Điều thực sự khiến chiếc kim di chuyển là việc thu hẹp câu hỏi. Thay vì “tóm tắt điều này”, tôi bắt đầu hỏi “liệt kê mọi điều khoản về trách nhiệm pháp lý và trích dẫn nó”. Cùng một mô hình, cùng một tài liệu, một câu trả lời hoàn toàn khác, bởi vì tôi đã ngừng yêu cầu nó phải thông minh một cách rộng rãi và bắt đầu yêu cầu nó phải đúng trong phạm vi hẹp.

Cái bẫy đang coi một cửa sổ ngữ cảnh khổng lồ như một sự cho phép để đổ mọi thứ vào đó và ngừng suy nghĩ. Đó là một sự tiện lợi, không phải là một sự đảm bảo và cửa sổ càng lớn thì càng dễ cho rằng mô hình đã hiểu ý bạn. Nó không. Bạn vẫn phải chỉ vào điều đó.

Quy tắc của tôi bây giờ: những câu hỏi nhỏ, cụ thể, có thể kiểm chứng được sẽ đánh bại một câu hỏi lớn. Cửa sổ ngữ cảnh là một bãi đậu xe, không phải bộ não, và tôi đã ngừng nhầm lẫn kích thước của lô đất với việc ô tô lái tốt như thế nào.