Des fenêtres de contexte plus grandes n'améliorent pas les réponses de l'IA
Nous sommes passés de pages en bibliothèques de contexte, et les réponses ne se sont pas améliorées proportionnellement. L'attention est encore une ressource rare, et la rapidité d'exécution en est l'aspect économique.
Les fenêtres contextuelles ont été multipliées par cent tandis que mes réponses se sont peut-être améliorées par deux, et l'écart entre ces chiffres est celui où se situent désormais la plupart des mauvaises expériences d'IA. Le marketing implique que plus de contexte équivaut à plus de compréhension, mais les modèles ne lisent pas un million de jetons comme vous l'espérez ; ils attribuent leur attention de manière inégale, et l’attention est la ressource la plus rare.
Mes propres expériences ne cessent de le confirmer. Un modèle doté de quarante pages de documentation et d'une question répond généralement mieux lorsqu'on lui donne les trois pages pertinentes, car la récupération plus une petite fenêtre bat l'inclusion par force brute. Un contexte long n'est pas un souvenir, c'est une pièce plus grande avec la même lampe de poche, et ce qui compte, c'est l'endroit où pointe la lampe de poche.
C'est pourquoi les compétences pratiques sont passées de l'ingénierie rapide à la conservation du contexte. Les meilleurs résultats que j'obtiens maintenant viennent de décider ce que le modèle n'a pas besoin de voir : supprimer le passe-partout, couper les tangentes, mettre la contrainte cruciale au début et la répéter à la fin. La curation est un travail peu glamour qui, selon le marketing à plus grande fenêtre, devrait être obsolète, et ce n'est obstinément pas le cas.
Il existe de véritables exceptions, une compréhension de l'intégralité de la base de code, des transcriptions de plusieurs heures et un crédit le cas échéant. Mais même là, les outils qui gagnent sont ceux qui gèrent l’attention à votre place, avec une récupération et des résumés plutôt qu’une inclusion brute.
Le résultat est dégonflant et utile : une fenêtre plus grande ne vous dispense pas de penser à ce qu’elle contient. Les modèles ont eu un bureau plus grand ; le travail est toujours effectué par la personne qui décide quoi mettre dessus, et cette personne, pour l'instant, c'est vous.