El modelo de decisión de $0,04 está reemplazando silenciosamente gran parte de mi ingeniería rápida
La mitad de mis indicaciones "inteligentes" eran solo clasificaciones en una gabardina.
Solía escribir indicaciones elaboradas para que un modelo de frontera decidiera las cosas: spam o no, nivel A o B, escalar o cerrar.
El pplx-decisor de Perplexity a 0,04 dólares por millón de tokens y sus pares me hicieron darme cuenta de que esas indicaciones eran un teatro caro.
Un modelo de decisión de dos mil millones de parámetros realiza la clasificación en una sola pasada y devuelve una etiqueta limpia, sin prosa para analizar.
Saqué una docena de esas llamadas del modelo grande y la factura bajó sin que el usuario notara la diferencia.
La ingeniería rápida no está muerta, pero una parte de ella nunca fue realmente rápida. Fue la toma de decisiones por la que pagamos de más.