上下文窗口的谎言几乎让我做出了真正的决定

我购买了一年的大环境宣传。一次性读取整个驱动器的模型一定更聪明，对吗？然后我递给其中一个 200 页的合同，并询问我同意什么，它给了我一个自信、整洁的摘要，但忽略了真正重要的三个条款。

这是谎言：上下文窗口大小被当作理解来出售。事实并非如此。一个模型可以容纳一百万个代币，但仍然会关注错误的句子。该数字告诉您可以粘贴多少内容，而不是它对内部内容的推理程度。我混淆了存储的理解。

真正起到推动作用的是缩小问题范围。我开始要求“列出所有有关责任的条款并引用它”，而不是“总结这一点”。相同的模型，相同的文档，完全不同的答案，因为我不再要求它广泛智能，而是开始要求它狭隘正确。

这个陷阱将巨大的上下文窗口视为允许将所有内容转入其中并停止思考。这是一种便利，而不是保证，窗口越大，就越容易假设模型看到了你的意思。事实并非如此。你还是得指着那东西。

我现在的规则是：小的、具体的、可验证的问题胜过大问题。上下文窗口是一个停车场，而不是大脑，我不再将停车场的大小误认为汽车的驾驶性能。