コンテキストの 100 万トークンは記憶ではなく、混乱により人々にコストがかかっています

今年のモデルの発売はコンテキスト ウィンドウで競われました。ここでは 100 万トークン、あそこでは 105 万トークンです。マーケティングには、モデルがすべてを保持できるという約束が含まれています。私の同僚はその約束を文字通りに受け取り、プロジェクトのアーカイブ全体を 1 つのチャットにアップロードし、以前よりも悪い回答を受け取り始めました。彼はモデルがもっとバカになったと思った。気が散ってしまいました。

コンテキスト ウィンドウは作業メモリであり、ファイル システムではありません。そこにあるすべてのものは、あらゆるターンで注目を集めようと競い合います。 1 年分の文書を貼り付けると、実際の質問はスタジアムでささやかれるようなものになります。モデルはアーカイブを「認識」しません。毎回、同じ注意力を使ってすべてのアーカイブを読み取るため、量によって関連性が薄れてしまいます。コンテキストが増えれば知識が増えるわけではありません。答えごとにノイズが多くなります。

実際的な解決策は、機械が記憶することを信頼する前に人々が行っていたこと、つまりキュレーションです。私が得られる最良の答えは、300 件の関連文書ではなく 3 件の関連文書を記載したチャットから得られます。私が実行したすべてのテストにおいて、検索 (モデルまたはツールが適切なページを見つけること) はダンピングよりも優れています。これが、さまざまな「ナレッジ ベース」機能が実際に行うことであり、すべてを貼り付けるアプローチよりも優れたパフォーマンスを発揮する理由です。

コストの観点から、この習慣を自然に消滅させる必要があります。このコンテキストにおけるトークンは、会話の各ターンで支払うトークンです。私の同僚のメガチャットは、1 つのファイルに関する質問に答えるためにアーカイブ全体を再読み込みして使用量の上限を消費していました。効率と品質は、より小さいという同じ方向を向いていました。

私に役立つメンタル モデルは、コンテキスト ウィンドウを倉庫ではなく机のように扱うことです。あなたは机の上に 10 冊の関連書類を並べて仕事をしています。あなたは倉庫に立ってひどい仕事をしています。倉庫は素晴らしいです。アーカイブを検索可能な場所に保管してください。実際に考える必要があるときに、適切なフォルダーを机に持ってくるだけです。