Todo el mundo persigue un contexto de un millón de tokens. La mayoría del trabajo no lo necesita.
Todo el mundo persigue un contexto de un millón de tokens. La mayoría del trabajo no lo necesita.
GPT-6.1 Sol ahora ofrece un contexto de un millón de tokens y la guerra de números ha comenzado. Estoy aquí para decir que la mayor parte de mi trabajo no lo necesita y que perseguirlo puede empeorar los resultados.
Un contexto más amplio significa más cosas en las que equivocarse, más cosas por las que pagar y más lugares para que el modelo pierda el hilo que realmente le interesa. Tamaño no es lo mismo que relevancia.
Para los trabajos de documentos largos, claro, dame la ventana. Para la pregunta cotidiana, una sugerencia precisa y bien enfocada siempre supera a una manguera de contexto.
Haga coincidir el contexto con el trabajo. El contexto más importante es una flexibilidad, no una característica, y tratarlo como tal produce respuestas que son largas, costosas y, curiosamente, menos útiles.
