Größere Kontextfenster machen KI-Antworten nicht besser
Wir sind von Seiten zu Kontextbibliotheken übergegangen, und die Antworten haben sich nicht proportional verbessert. Aufmerksamkeit ist immer noch die knappe Ressource, und schnelles Handwerk ist ihre Wirtschaftlichkeit.
Die Kontextfenster vergrößerten sich um das Hundertfache, während sich meine Antworten vielleicht um das Doppelte verbesserten, und in der Lücke zwischen diesen Zahlen liegen heute die meisten schlechten KI-Erfahrungen. Das Marketing impliziert, dass mehr Kontext mehr Verständnis bedeutet, aber Modelle lesen eine Million Token nicht so, wie Sie es sich erhoffen; Sie verteilen die Aufmerksamkeit ungleichmäßig, und Aufmerksamkeit ist die eigentliche knappe Ressource.
Meine eigenen Experimente bestätigen es immer wieder. Ein Modell mit vierzig Seiten Dokumentation und einer Frage antwortet in der Regel besser, wenn drei relevante Seiten vorhanden sind, da das Abrufen plus ein kleines Fenster besser ist als die Brute-Force-Einbindung. Ein langer Kontext ist keine Erinnerung, es ist ein größerer Raum mit derselben Taschenlampe, und was zählt, ist, wohin die Taschenlampe zeigt.
Aus diesem Grund hat sich die praktische Fähigkeit von der schnellen Entwicklung hin zur Kontextkuration verlagert. Die besten Ergebnisse, die ich jetzt erhalte, erhalte ich, wenn ich entscheide, was das Modell nicht sehen muss: das Boilerplate entfernen, die Tangenten abschneiden, die entscheidende Einschränkung an den Anfang setzen und es am Ende wiederholen. Kuration ist eine unrühmliche Arbeit, von der das größere Marketing sagt, dass sie überholt sein sollte, und das ist sie hartnäckig nicht.
Es gibt echte Ausnahmen, das Verständnis der gesamten Codebasis, stundenlange Transkripte und ggf. Anerkennung. Aber selbst dort sind es die Tools, die gewinnen, die die Aufmerksamkeit für Sie verwalten, mit Abruf und Zusammenfassungen statt reiner Einbeziehung.
Die Erkenntnis ist enttäuschend und nützlich: Ein größeres Fenster entbindet Sie nicht davon, darüber nachzudenken, was darin enthalten ist. Die Models bekamen einen größeren Schreibtisch; Die Arbeit wird immer noch von der Person erledigt, die entscheidet, was darauf aufgetragen werden soll, und diese Person sind im Moment Sie.