Un millón de muestras de contexto no son memoria, y la confusión le está costando dinero a la gente
Los usuarios siguen tratando las grandes ventanas contextuales como si fueran un cerebro. Vi a un colega pegar un año de documentos en un chat y obtener peores respuestas. Aquí está la distinción que importa.
Los lanzamientos de modelos de este año compitieron en ventanas de contexto: un millón de tokens aquí, 1,05 millones allá. El marketing implica una promesa: el modelo puede contenerlo todo. Mi colega tomó la promesa literalmente, subió el archivo completo de su proyecto a un chat y comenzó a obtener peores respuestas que antes. Pensó que el modelo se volvió más tonto. Se distrajo.
Una ventana de contexto es una memoria de trabajo, no un sistema de archivo. Todo en él compite por la atención en todo momento. Pegue un año de documentos y su pregunta real será un susurro en un estadio. El modelo no "conoce" su archivo: lo lee todo, siempre, con el mismo presupuesto de atención, y la relevancia se diluye con el volumen. Más contexto no es más conocimiento; es más ruido por respuesta.
La solución práctica es lo que la gente solía hacer antes de confiar en las máquinas para recordar: la curación. Las mejores respuestas que obtengo provienen de chats en los que he incluido los tres documentos relevantes, no los trescientos. La recuperación (el modelo o la herramienta que encuentra las páginas correctas) es mejor que el volcado en cada prueba que he realizado. Eso es lo que realmente hacen las diversas características de la 'base de conocimientos' y por qué superan el enfoque de pegar todo.
Hay un ángulo de costos que debería acabar con el hábito por sí solo. Los tokens en el contexto son tokens por los que pagas en cada paso de la conversación. El megachat de mi colega estaba quemando su límite de uso releyendo todo su archivo para responder preguntas sobre un archivo. Eficiencia y calidad apuntaban en la misma dirección: más pequeñas.
El modelo mental que me ha servido: trate la ventana de contexto como un escritorio, no como un almacén. Trabajas bien con diez papeles relevantes sobre el escritorio. Trabajas mal estando en un almacén. Los almacenes son fantásticos: mantenga su archivo en un lugar donde se puedan realizar búsquedas. Simplemente lleva la carpeta adecuada al escritorio cuando realmente necesites pensar.