上下文窗口是一个更大的丢失东西的空间

一百万个令牌的上下文听起来像是结束了管理内存的需要。事实并非如此。更大的窗口意味着模型有更多的地方可以悄悄地忘记重要的部分。

我粘贴了一份很长的文档，并在讨论完第五十页后问了有关第一页的问题。答案发生了变化，因为模型对最近的数据进行了加权，无论是否有窗口。长度不是理解力。

获胜的工具并不是那些数量最多的工具，而是那些检索正确切片、总结其余部分并让您看到提取了什么的工具。没有检索的窗户是一个更大的丢失东西的房间。

不要根据上下文大小来选择模型。选择它是否向您显示它正在查看的内容。一个具有良好检索能力的较小窗口胜过一个每次都隐藏其工作的巨大窗口。