Một triệu mã thông báo bối cảnh không phải là ký ức và sự nhầm lẫn đang khiến mọi người tốn tiền
Người dùng tiếp tục coi các cửa sổ ngữ cảnh lớn như một bộ não. Tôi đã chứng kiến một đồng nghiệp dán tài liệu của một năm vào cuộc trò chuyện và nhận được những câu trả lời tệ hơn. Đây là sự khác biệt quan trọng.
Các lần ra mắt mô hình năm nay mang tính cạnh tranh trên các cửa sổ ngữ cảnh — một triệu mã thông báo ở đây, 1,05 triệu ở kia. Việc tiếp thị ngụ ý một lời hứa: mô hình có thể chứa đựng mọi thứ. Đồng nghiệp của tôi đã thực hiện lời hứa theo đúng nghĩa đen, tải toàn bộ kho lưu trữ dự án của anh ấy lên một cuộc trò chuyện và bắt đầu nhận được những câu trả lời tệ hơn trước. Anh ấy nghĩ người mẫu trở nên ngu ngốc hơn. Nó bị phân tâm.
Cửa sổ ngữ cảnh là bộ nhớ làm việc chứ không phải hệ thống lưu trữ. Mọi thứ trong đó đều tranh giành sự chú ý ở mỗi lượt. Dán tài liệu của một năm vào và câu hỏi thực sự của bạn chỉ là lời thì thầm trong sân vận động. Mô hình không 'biết' kho lưu trữ của bạn — nó đọc tất cả kho lưu trữ đó mọi lúc, với cùng một mức độ chú ý và mức độ liên quan bị giảm dần theo số lượng. Nhiều bối cảnh hơn không phải là nhiều kiến thức hơn; nó ồn ào hơn cho mỗi câu trả lời.
Cách khắc phục thực tế là điều mọi người thường làm trước khi tin tưởng vào máy móc: quản lý. Câu trả lời hay nhất tôi nhận được đến từ các cuộc trò chuyện trong đó tôi đưa vào ba tài liệu liên quan chứ không phải ba trăm tài liệu. Truy xuất — mô hình hoặc công cụ tìm đúng trang — đánh bại việc bán phá giá, mọi thử nghiệm tôi đã chạy. Đó là những gì các tính năng 'cơ sở tri thức' khác nhau thực sự làm và tại sao chúng hoạt động tốt hơn phương pháp dán mọi thứ.
Có một góc độ chi phí có thể tự nó giết chết thói quen. Mã thông báo trong ngữ cảnh là mã thông báo bạn trả tiền cho mỗi lượt trò chuyện. Cuộc trò chuyện lớn của đồng nghiệp của tôi đang ghi lại giới hạn sử dụng của anh ấy khi đọc lại toàn bộ kho lưu trữ của anh ấy để trả lời các câu hỏi về một tệp. Hiệu quả và chất lượng chỉ về cùng một hướng: nhỏ hơn.
Mô hình tinh thần đã phục vụ tôi: coi cửa sổ ngữ cảnh giống như một cái bàn chứ không phải một nhà kho. Bạn làm việc tốt với mười giấy tờ liên quan trên bàn làm việc. Bạn làm việc tồi tệ khi đứng trong nhà kho. Kho lưu trữ rất tuyệt vời — giữ kho lưu trữ của bạn ở nơi nào đó có thể tìm kiếm được. Chỉ cần mang đúng tập hồ sơ đến bàn làm việc khi bạn thực sự cần suy nghĩ.