一百万个上下文标记并不是记忆，而且混乱会导致人们损失金钱

今年的模型发布在上下文窗口上进行竞争——这里有 100 万个代币，那里有 105 万个代币。营销暗示着一个承诺：模型可以容纳一切。我的同事从字面上理解了这一承诺，将他的整个项目档案上传到一次聊天中，并开始得到比以前更糟糕的答案。他认为模型变得更笨了。它分心了。

上下文窗口是工作内存，而不是文件系统。其中的一切都在每一个回合都在争夺注意力。粘贴一年的文件，你的实际问题就是体育场里的窃窃私语。该模型并不“了解”您的档案 - 它每次都会以相同的注意力预算读取所有档案，并且相关性会因数量而被稀释。更多的背景并不代表更多的知识，而是更多的知识。每个答案都会产生更多噪音。

实际的解决方法是人们在信任机器记忆之前所做的事情：管理。我得到的最佳答案来自聊天，其中我包含了三个相关文档，而不是三百个。在我运行的每一次测试中，检索（找到正确页面的模型或工具）都优于转储。这就是各种“知识库”功能的实际用途，也是它们优于粘贴所有内容方法的原因。

从成本角度来看，这种习惯本身就应该被消灭。上下文中的令牌是您在对话的每一轮中支付的令牌。我同事的大型聊天正在燃烧他的使用上限，重新阅读他的整个档案以回答有关一个文件的问题。效率和质量指向同一个方向：更小。

我的思维模型是：将上下文窗口视为一张桌子，而不是一个仓库。办公桌上有十份相关文件，你工作得很好。你站在仓库里工作很糟糕。仓库很棒——将你的档案保存在可搜索的地方。当您真正需要思考时，只需将正确的文件夹带到办公桌上即可。