Las ventanas de contexto más grandes no mejoran las respuestas de la IA
Pasamos de páginas a bibliotecas de contexto y las respuestas no mejoraron proporcionalmente. La atención sigue siendo el recurso escaso y la rapidez es su economía.
Las ventanas de contexto se multiplicaron por cien, mientras que mis respuestas mejoraron tal vez el doble, y la brecha entre esos números es donde ahora viven la mayoría de las malas experiencias de IA. El marketing implica que más contexto equivale a más comprensión, pero los modelos no leen un millón de tokens como se espera; asignan la atención de manera desigual, y la atención es el recurso realmente escaso.
Mis propios experimentos lo siguen confirmando. Un modelo con cuarenta páginas de documentación y una pregunta generalmente responde mejor cuando se le dan las tres páginas relevantes, porque la recuperación más una ventana pequeña supera la inclusión por fuerza bruta. El contexto largo no es un recuerdo, es una habitación más grande con la misma linterna, y lo que importa es hacia dónde apunta la linterna.
Es por eso que la habilidad práctica ha pasado de la ingeniería rápida a la curación del contexto. Los mejores resultados que obtengo ahora provienen de decidir qué no necesita ver el modelo: eliminar el texto estándar, cortar las tangentes, poner la restricción crucial al principio y repetirla al final. La curación es un trabajo poco glamoroso que el marketing de grandes ventanales dice que debería ser obsoleto, y obstinadamente no lo es.
Hay excepciones reales, comprensión de toda la base del código, transcripciones de horas de duración y crédito cuando corresponde. Pero incluso allí, las herramientas que ganan son las que gestionan la atención por usted, con recuperación y resúmenes en lugar de inclusión cruda.
La conclusión es desalentadora y útil: una ventana más grande no te exime de pensar en lo que sucede en ella. Las modelos obtuvieron un escritorio más grande; el trabajo aún lo hace la persona que decide qué ponerle, y esa persona, por ahora, eres tú.