Bối cảnh lớn hơn Windows không làm cho câu trả lời AI tốt hơn
Chúng tôi đã đi từ các trang đến các thư viện ngữ cảnh và các câu trả lời không được cải thiện tương ứng. Sự chú ý vẫn là nguồn tài nguyên khan hiếm, và sự khéo léo nhanh chóng chính là tính kinh tế của nó.
Cửa sổ ngữ cảnh tăng gấp trăm lần trong khi câu trả lời của tôi được cải thiện có thể gấp đôi và khoảng cách giữa các con số đó là nơi mà hầu hết các trải nghiệm AI tồi tệ hiện đang tồn tại. Hoạt động tiếp thị ngụ ý rằng nhiều ngữ cảnh hơn đồng nghĩa với nhiều hiểu biết hơn, nhưng các mô hình không đọc hàng triệu mã thông báo theo cách bạn mong đợi; họ phân bổ sự chú ý không đồng đều và sự chú ý thực sự là nguồn lực khan hiếm.
Các thí nghiệm của riêng tôi tiếp tục xác nhận điều đó. Một mô hình có bốn mươi trang tài liệu và một câu hỏi thường trả lời tốt hơn khi có ba trang liên quan, bởi vì việc truy xuất cộng với một cửa sổ nhỏ sẽ đánh bại việc đưa vào bằng vũ lực. Bối cảnh dài không phải là ký ức, nó là một căn phòng lớn hơn với cùng một chiếc đèn pin, và điều quan trọng là đèn pin chỉ vào đâu.
Đây là lý do tại sao kỹ năng thực hành đã chuyển từ kỹ thuật nhanh chóng sang quản lý bối cảnh. Kết quả tốt nhất mà tôi nhận được bây giờ đến từ việc quyết định những gì mô hình không cần xem: loại bỏ bản mẫu, cắt các đường tiếp tuyến, đặt ràng buộc quan trọng ở đầu và lặp lại nó ở cuối. Giám tuyển là một công việc không mấy hấp dẫn mà hoạt động tiếp thị có cửa sổ lớn hơn cho rằng đã lỗi thời, nhưng thực tế thì không phải vậy.
Có những trường hợp ngoại lệ thực sự, khả năng hiểu toàn bộ cơ sở mã, bản ghi dài hàng giờ và ghi công khi đến hạn. Nhưng ngay cả ở đó, những công cụ giành chiến thắng là những công cụ quản lý sự chú ý cho bạn, bằng khả năng truy xuất và tóm tắt thay vì đưa vào thô.
Bài học rút ra rất hữu ích và hữu ích: một cửa sổ lớn hơn không giúp bạn thoát khỏi việc phải suy nghĩ về những gì diễn ra trong đó. Các mẫu có bàn làm việc lớn hơn; công việc vẫn được thực hiện bởi người quyết định mặc gì vào đó và người đó hiện tại là bạn.