Eine Million Kontext-Token sind keine Erinnerung, und die Verwirrung kostet die Menschen Geld
Benutzer behandeln große Kontextfenster weiterhin wie ein Gehirn. Ich habe beobachtet, wie ein Kollege Dokumente aus einem Jahr in einen Chat einfügte und schlechtere Antworten erhielt. Hier ist die Unterscheidung, die zählt.
Die diesjährigen Modelleinführungen konkurrierten in Kontextfenstern – eine Million Token hier, 1,05 Millionen dort. Das Marketing impliziert ein Versprechen: Das Modell kann alles aushalten. Mein Kollege nahm das Versprechen wörtlich, lud sein gesamtes Projektarchiv in einen Chat hoch und bekam schlechtere Antworten als zuvor. Er dachte, das Model sei dümmer geworden. Es wurde abgelenkt.
Ein Kontextfenster ist ein Arbeitsspeicher, kein Ablagesystem. Alles darin konkurriert auf Schritt und Tritt um Aufmerksamkeit. Fügen Sie ein Jahr Dokumente ein und Ihre eigentliche Frage ist ein Flüstern im Stadion. Das Modell „kennt“ Ihr Archiv nicht – es liest es jedes Mal vollständig mit dem gleichen Aufmerksamkeitsbudget, und die Relevanz wird durch das Volumen verwässert. Mehr Kontext bedeutet nicht mehr Wissen; Es ist mehr Lärm pro Antwort.
Die praktische Lösung ist das, was Menschen früher taten, bevor sie darauf vertrauten, dass Maschinen sich erinnern: Kuration. Die besten Antworten bekomme ich aus Chats, in denen ich die drei relevanten Dokumente eingefügt habe, nicht die dreihundert. Das Abrufen – das Modell oder Tool, das die richtigen Seiten findet – übertrifft das Dumping, jeder Test, den ich durchgeführt habe. Das ist es, was die verschiedenen „Wissensdatenbank“-Funktionen tatsächlich bewirken und warum sie den „Alles einfügen“-Ansatz übertreffen.
Es gibt einen Kostenaspekt, der die Gewohnheit von selbst zerstören sollte. Token im Kontext sind Token, für die Sie in jeder einzelnen Runde des Gesprächs bezahlen. Der Mega-Chat meines Kollegen verbrannte seine Nutzungsbeschränkung, indem er sein gesamtes Archiv erneut las, um Fragen zu einer Datei zu beantworten. Effizienz und Qualität wiesen in die gleiche Richtung: kleiner.
Das mentale Modell, das mir geholfen hat: Behandeln Sie das Kontextfenster wie einen Schreibtisch, nicht wie ein Lagerhaus. Sie arbeiten gut mit zehn relevanten Papieren auf dem Schreibtisch. Wenn man in einem Lagerhaus steht, arbeitet man schlecht. Die Lager sind großartig – bewahren Sie Ihr Archiv an einem durchsuchbaren Ort auf. Bringen Sie einfach die richtige Mappe mit an den Schreibtisch, wenn Sie tatsächlich nachdenken müssen.