La mentira de la ventana de contexto casi me cuesta una decisión real

Compré el discurso de gran contexto durante un año. Un modelo que lee todo el disco de una sola vez debe ser más inteligente, ¿verdad? Luego le entregué a uno un contrato de 200 páginas y le pregunté qué estaba aceptando, y me dio un resumen ordenado y seguro que omitía las tres cláusulas que realmente importaban.

Aquí está la mentira: el tamaño de la ventana de contexto se vende como comprensión. No lo es. Un modelo puede tener un millón de fichas y aún así concentrarse en la frase equivocada. El número te dice cuánto puedes pegar, no qué tan bien razona lo que hay dentro. Había confundido almacenamiento con comprensión.

Lo que realmente movió la aguja fue acotar la cuestión. En lugar de "resume esto", comencé a preguntar "enumere cada cláusula sobre responsabilidad y cítela". El mismo modelo, el mismo documento, una respuesta completamente diferente, porque dejé de pedirle que fuera inteligente en términos generales y comencé a pedirle que fuera estrictamente correcto.

La trampa consiste en tratar una enorme ventana de contexto como un permiso para tirar todo y dejar de pensar. Es una conveniencia, no una garantía, y cuanto más grande sea la ventana, más fácil será asumir que el modelo entendió lo que usted quería decir. No fue así. Todavía tienes que señalar la cosa.

Mi regla ahora: las preguntas pequeñas, específicas y verificables superan a un gran volcado. La ventana de contexto es un estacionamiento, no un cerebro, y dejé de confundir el tamaño del estacionamiento con lo bien que se conduce el auto.