Un million d'éléments de contexte ne constituent pas de la mémoire, et la confusion coûte de l'argent aux gens.
Les utilisateurs continuent de traiter les grandes fenêtres contextuelles comme un cerveau. J'ai vu un collègue coller un an de documents dans une discussion et obtenir des réponses pires. Voici la distinction qui compte.
Les lancements de modèles de cette année se sont déroulés sur des fenêtres contextuelles : un million de jetons ici, 1,05 million là. Le marketing implique une promesse : le modèle peut tout contenir. Mon collègue a pris la promesse au pied de la lettre, a téléchargé l'intégralité de ses archives de projet dans une seule discussion et a commencé à obtenir des réponses pires qu'avant. Il pensait que le modèle était devenu plus bête. Il a été distrait.
Une fenêtre contextuelle est une mémoire de travail, pas un système de fichiers. Tout ce qui s'y trouve rivalise pour attirer l'attention à chaque instant. Collez une année de documents et votre véritable question n’est plus qu’un murmure dans un stade. Le modèle ne « connaît » pas vos archives : il les lit en totalité, à chaque fois, avec le même budget d'attention, et la pertinence est diluée par le volume. Plus de contexte ne signifie pas plus de connaissances ; c'est plus de bruit par réponse.
La solution pratique est ce que les gens faisaient avant de faire confiance aux machines pour se souvenir : la curation. Les meilleures réponses que j'obtiens proviennent de discussions dans lesquelles j'ai inclus les trois documents pertinents, et non les trois cents. La récupération – le modèle ou l'outil qui trouve les bonnes pages – surpasse le dumping, à chaque test que j'ai exécuté. C'est ce que font réellement les différentes fonctionnalités de la « base de connaissances » et pourquoi elles surpassent l'approche consistant à tout coller.
Il y a un aspect coût qui devrait tuer cette habitude à lui seul. Les jetons dans le contexte sont des jetons que vous payez, à chaque tour de conversation. Le méga-chat de mon collègue brûlait son plafond d'utilisation en relisant l'intégralité de ses archives pour répondre à des questions sur un fichier. L’efficacité et la qualité allaient dans la même direction : plus petite.
Le modèle mental qui m'a servi : traiter la fenêtre contextuelle comme un bureau, pas comme un entrepôt. Vous travaillez bien avec dix papiers pertinents sur le bureau. Vous travaillez mal debout dans un entrepôt. Les entrepôts sont formidables : conservez vos archives dans un endroit consultable. Apportez simplement le bon dossier au bureau lorsque vous avez réellement besoin de réfléchir.