Die Kontextfensterlüge hat mich fast eine echte Entscheidung gekostet

Ich habe den Big-Context-Pitch für ein Jahr gekauft. Ein Modell, das Ihr gesamtes Laufwerk auf einmal liest, muss doch intelligenter sein, oder? Dann reichte ich einem einen 200-seitigen Vertrag und fragte, womit ich einverstanden sei, und er erhielt eine sichere, klare Zusammenfassung, in der die drei eigentlich wichtigen Klauseln fehlten.

Hier ist die Lüge: Die Größe des Kontextfensters wird als Verständnis verkauft. Das ist es nicht. Ein Modell kann eine Million Token halten und sich trotzdem auf den falschen Satz fixieren. Die Zahl sagt Ihnen, wie viel Sie einfügen können, und nicht, wie gut sie über den Inhalt informiert. Ich hatte die Speicherung mit dem Verständnis verwechselt.

Was eigentlich den Ausschlag gab, war die Einengung der Frage. Anstatt „das zusammenzufassen“, begann ich zu fragen: „Listen Sie jede Klausel über die Haftung auf und zitieren Sie sie.“ Dasselbe Modell, das gleiche Dokument, eine völlig andere Antwort, weil ich aufgehört habe, es im Großen und Ganzen als „intelligent“ zu bezeichnen, und angefangen habe, es als „im Großen und Ganzen richtig“ zu fordern.

Die Falle behandelt ein riesiges Kontextfenster als Erlaubnis, alles hineinzuwerfen und mit dem Denken aufzuhören. Es handelt sich hierbei um eine Annehmlichkeit, nicht um eine Garantie, und je größer das Fenster, desto leichter kann man davon ausgehen, dass das Modell gesehen hat, was Sie gemeint haben. Das war nicht der Fall. Du musst immer noch auf das Ding zeigen.

Meine Regel lautet jetzt: Kleine, konkrete, überprüfbare Fragen schlagen einen großen Dump. Das Kontextfenster ist ein Parkplatz, kein Gehirn, und ich habe aufgehört, die Größe des Parkplatzes mit der Fahrqualität des Autos zu verwechseln.