Um milhão de tokens de contexto não é memória, e a confusão está custando dinheiro às pessoas

Os lançamentos de modelos deste ano competiram em janelas de contexto – um milhão de tokens aqui, 1,05 milhão ali. O marketing implica uma promessa: o modelo pode conter tudo. Meu colega cumpriu a promessa literalmente, carregou todo o arquivo do projeto em um chat e começou a receber respostas piores do que antes. Ele achou que a modelo ficou mais burra. Ele se distraiu.

Uma janela de contexto é uma memória de trabalho, não um sistema de arquivamento. Tudo nele compete por atenção a cada passo. Cole um ano de documentos e sua pergunta real será um sussurro em um estádio. O modelo não “conhece” o seu arquivo – ele lê tudo, sempre, com o mesmo orçamento de atenção, e a relevância é diluída em volume. Mais contexto não significa mais conhecimento; é mais ruído por resposta.

A solução prática é o que as pessoas costumavam fazer antes de confiarem nas máquinas para lembrar: curadoria. As melhores respostas que recebo vêm de chats onde incluí os três documentos relevantes, não os trezentos. A recuperação – o modelo ou ferramenta que encontra as páginas certas – é melhor que o dumping, em todos os testes que executei. É isso que os vários recursos da “base de conhecimento” realmente fazem e é por isso que superam a abordagem de colar tudo.

Existe um ângulo de custo que deveria matar o hábito por si só. Os tokens no contexto são tokens pelos quais você paga, a cada passo da conversa. O megachat do meu colega estava queimando seu limite de uso, relendo todo o seu arquivo para responder perguntas sobre um arquivo. Eficiência e qualidade apontavam na mesma direção: menores.

O modelo mental que me serviu: trate a janela de contexto como uma mesa, não como um armazém. Você trabalha bem com dez papéis relevantes sobre a mesa. Você trabalha mal parado em um armazém. Os armazéns são ótimos – mantenha seu arquivo em algum lugar pesquisável. Basta trazer a pasta certa para a mesa quando realmente precisar pensar.