Le mensonge de la fenêtre contextuelle m'a presque coûté une vraie décision

J'ai acheté le pitch grand contexte pendant un an. Un modèle qui lit l’intégralité de votre disque en une seule fois doit être plus intelligent, non ? Ensuite, je lui ai remis un contrat de 200 pages et lui ai demandé ce que j'acceptais, et cela m'a donné un résumé confiant et soigné qui manquait les trois clauses qui comptaient réellement.

Voici le mensonge : la taille de la fenêtre contextuelle est vendue comme compréhension. Ce n'est pas le cas. Un modèle peut contenir un million de jetons tout en restant concentré sur la mauvaise phrase. Le nombre vous indique la quantité que vous pouvez coller, et non la façon dont il explique ce qu'il y a à l'intérieur. J'avais confondu stockage et compréhension.

Ce qui a réellement fait bouger l’aiguille, c’est la réduction de la question. Au lieu de « résumer ceci », j'ai commencé à demander « énumérez chaque clause concernant la responsabilité et citez-la ». Le même modèle, le même document, une réponse complètement différente, parce que j’ai arrêté de lui demander d’être globalement intelligent et j’ai commencé à lui demander d’avoir juste.

Le piège consiste à traiter une immense fenêtre contextuelle comme une autorisation de tout vider et d'arrêter de penser. C'est une commodité, pas une garantie, et plus la fenêtre est grande, plus il est facile de supposer que le modèle a vu ce que vous vouliez dire. Ce n’est pas le cas. Encore faut-il pointer du doigt la chose.

Ma règle maintenant : les petites questions spécifiques et vérifiables l'emportent sur une grande décharge. La fenêtre contextuelle est un parking, pas un cerveau, et j'ai arrêté de confondre la taille du parking avec la qualité de conduite de la voiture.