更大的上下文窗口并没有让人工智能答案变得更好

上下文窗口增长了一百倍，而我的答案可能提高了两倍，而这些数字之间的差距就是现在最糟糕的人工智能体验所在。营销暗示更多的上下文等于更多的理解，但模型并没有按照你希望的方式读取一百万个令牌；他们分配注意力的方式不均衡，而注意力才是真正的稀缺资源。

我自己的实验不断证实这一点。给定 40 页文档和一个问题的模型在给出 3 个相关页面时通常会得到更好的答案，因为检索加上一个小窗口会击败暴力包含。长上下文不是记忆，它是一个更大的房间，有同样的手电筒，重要的是手电筒指向哪里。

这就是为什么实践技能已经从即时工程转向情境管理。我现在得到的最好结果来自于决定模型不需要看到什么：剥离样板，剪切切线，将关键约束放在开头并在结尾重复它。策展是一项乏味的工作，大橱窗营销认为它应该过时，但事实却并非如此。

有真正的例外，整个代码库的理解，长达数小时的成绩单，以及应有的信用。但即便如此，获胜的工具仍然是通过检索和总结而不是原始包含来管理注意力的工具。

结论是令人泄气但有用：更大的窗口并不能免除你思考其中的内容。模特们有一张更大的桌子；这项工作仍然是由决定穿什么的人来完成的，而这个人，目前来说，就是你。