Janelas de contexto maiores não estão melhorando as respostas de IA
Passamos de páginas para bibliotecas de contexto e as respostas não melhoraram proporcionalmente. A atenção ainda é o recurso escasso e a agilidade é a sua economia.
As janelas de contexto cresceram cem vezes, enquanto minhas respostas melhoraram talvez duas vezes, e a lacuna entre esses números é onde residem agora a maioria das experiências ruins de IA. O marketing implica que mais contexto equivale a mais compreensão, mas os modelos não leem um milhão de tokens da maneira que você espera; eles alocam a atenção de maneira desigual, e a atenção é o recurso realmente escasso.
Meus próprios experimentos continuam confirmando isso. Um modelo com quarenta páginas de documentação e uma pergunta geralmente responde melhor quando recebe as três páginas relevantes, porque a recuperação mais uma pequena janela é melhor do que a inclusão por força bruta. Contexto longo não é memória, é uma sala maior com a mesma lanterna, e o que importa é para onde a lanterna aponta.
É por isso que a habilidade prática mudou da engenharia imediata para a curadoria de contexto. Os melhores resultados que obtenho agora vêm da decisão do que o modelo não precisa ver: retirar o clichê, cortar as tangentes, colocar a restrição crucial no início e repeti-la no final. A curadoria é um trabalho nada glamoroso que o marketing de grande porte diz que deveria ser obsoleto, e teimosamente não é.
Existem exceções reais, compreensão de toda a base de código, transcrições de horas de duração e crédito quando devido. Mas mesmo assim, as ferramentas que vencem são aquelas que gerenciam a atenção para você, com recuperação e resumos, em vez de inclusão pura.
A conclusão é desanimadora e útil: uma janela maior não o isenta de pensar no que há nela. Os modelos ganharam mesa maior; o trabalho ainda é feito pela pessoa que decide o que vestir, e essa pessoa, por enquanto, é você.