A mentira da janela de contexto quase me custou uma decisão real

Comprei o argumento de venda de grande contexto por um ano. Um modelo que lê todo o seu disco de uma só vez deve ser mais inteligente, certo? Então entreguei a um deles um contrato de 200 páginas e perguntei com o que eu estava concordando, e isso me deu um resumo confiante e organizado que faltava às três cláusulas que realmente importavam.

Aqui está a mentira: o tamanho da janela de contexto é vendido como compreensão. Não é. Um modelo pode conter um milhão de tokens e ainda assim fixar-se na frase errada. O número indica quanto você pode colar, e não quão bem ele raciocina sobre o que está dentro. Eu confundi armazenamento com compreensão.

O que realmente moveu a agulha foi estreitar a questão. Em vez de 'resumir isso', comecei a perguntar 'liste todas as cláusulas sobre responsabilidade e cite-as'. O mesmo modelo, o mesmo documento, uma resposta completamente diferente, porque parei de pedir que fosse amplamente inteligente e comecei a pedir que fosse estritamente certo.

A armadilha é tratar uma enorme janela de contexto como permissão para despejar tudo e parar de pensar. É uma conveniência, não uma garantia, e quanto maior a janela, mais fácil será presumir que o modelo viu o que você quis dizer. Não aconteceu. Você ainda precisa apontar para a coisa.

Minha regra agora: perguntas pequenas, específicas e verificáveis superam um grande lixo. A janela de contexto é um estacionamento, não um cérebro, e parei de confundir o tamanho do estacionamento com a qualidade da condução do carro.