コンテキスト ウィンドウが大きくなっても AI の回答は改善されない

コンテキスト ウィンドウは 100 倍に成長しましたが、私の回答はおそらく 2 倍改善されました。これらの数値の差が、AI エクスペリエンスで最も悪いものとなっています。マーケティングでは、より多くのコンテキストがより多くの理解を意味することを示唆していますが、モデルは 100 万個のトークンを期待どおりには読み取れません。彼らは注意を不均等に割り当てますが、注意は実際には希少なリソースです。

私自身の実験でもそれが確認され続けています。 40 ページのドキュメントと 1 つの質問が与えられたモデルでは、通常、関連する 3 ページが与えられた場合に、より良い答えが得られます。これは、検索に小さなウィンドウを加えた方が総当たりの包含よりも優れているためです。長い文脈は記憶ではありません。それは同じ懐中電灯のある大きな部屋であり、重要なのは懐中電灯がどこを指すかです。

これが、実践的なスキルがプロンプト エンジニアリングからコンテキスト キュレーションに移行した理由です。現在私が得ている最良の結果は、モデルが何を参照する必要がないのかを判断することによって得られます。つまり、ボイラープレートを取り除き、接線をカットし、重要な制約を最初に置き、最後にそれを繰り返します。キュレーションは地味な仕事であり、大手マーケティング会社は時代遅れになるべきだと主張していますが、頑固に時代遅れではありません。

実際の例外、コードベース全体の理解、数時間にわたるトランスクリプト、および必要に応じてクレジットが存在します。しかし、そこでも勝てるツールは、そのままの内容ではなく、検索と要約によってユーザーの注意を管理するツールです。

結論は、気の抜けたものですが、役に立つということです。ウィンドウが大きいからといって、その中に何が入っているかを考える必要がなくなるわけではありません。モデルには大きな机が与えられました。仕事は依然として、その上に何を置くかを決める人によって行われます。そして、その人は、今のところ、あなたです。