El modelo más barato en el que realmente confío
Haiku 5,5 a una décima de centavo por ficha no sólo ahorró dinero. Cambió los trabajos que me molesto en automatizar.
Solía reservar convocatorias modelo para tareas que parecían valer un precio de frontera. A 0,10 dólares por millón de entradas, Haiku 5.5 eliminó ese umbral. Ahora, una clasificación desechable, una clasificación de spam y una verificación de "cuál de estos es el duplicado" reciben una llamada de modelo porque el costo es un error de redondeo.
El cambio de comportamiento importó más que los ahorros. Cuando la inferencia es casi gratuita, dejas de acapararla y las pequeñas automatizaciones que te habrías saltado porque "no merecen una llamada" comienzan a existir. Ahí es donde van las verdaderas horas.
Todavía no le confío el razonamiento de carga. El dial de esfuerzo ayuda, pero un modelo de $0,10 que toma una decisión de $10 000 es una falsa economía. Lo uso para el 80% aburrido y elevo el 20% extraño a algo más grande.
La lección no es "lo barato es lo mejor". Es que el precio cambia la forma de lo que construyes. A este ritmo, vale la pena gestionar toda una clase de pequeños agentes, y el modelo de frontera queda reservado para los momentos que lo merecen.