コンテキスト ウィンドウの嘘により、本当の決断が迫られるところだった

私はビッグコンテキストのピッチを 1 年間購入しました。ドライブ全体を一度に読み取るモデルは、より賢いはずですよね?次に、ある人に200ページの契約書を渡し、何に同意するのか尋ねると、実際に重要な3つの条項が抜け落ちていた、自信に満ちたきちんとした要約が得られました。

これは嘘です。コンテキスト ウィンドウのサイズは、理解のために売られているのです。そうではありません。モデルは 100 万個のトークンを保持していても、間違った文に固執する可能性があります。この数字は、どれだけ貼り付けられるかを示すものであり、中に何が入っているかをどの程度正確に判断するかを示すものではありません。ストレージを理解するために混同していました。

実際に大きな変化をもたらしたのは、質問の範囲を狭めたことでした。 「これを要約してください」の代わりに、私は「責任に関するすべての条項をリストアップして引用してください」と尋ね始めました。同じモデル、同じドキュメントでも、まったく異なる答えが得られました。それは、それが広範に賢明であることを求めるのをやめ、狭義に正しいことを求めるようになったからです。

この罠は、巨大なコンテキスト ウィンドウを、すべてをダンプして思考を停止する許可として扱っています。これは便宜上のものであり、保証するものではありません。ウィンドウが大きいほど、モデルが意図した内容を認識したと想定しやすくなります。そうではありませんでした。それでも物を指ささなければなりません。

私の今のルールは、小さくて具体的で検証可能な質問は、壮大なダンプ 1 つよりも優れているということです。コンテキスト ウィンドウは脳ではなく駐車場です。私は、駐車場のサイズを車の運転の良さと誤解するのをやめました。