Los modelos se volvieron más baratos. Las facturas no.
Los costes de inferencia cayeron por un precipicio. Entonces, ¿por qué su partida de IA es más grande que nunca?
Cada trimestre, los laboratorios anuncian tokens más baratos. Cada trimestre sube la factura de IA de mi cliente. Ambas afirmaciones son ciertas, y esa es la parte interesante.
La caída del precio unitario hace lo que siempre hace la caída de los precios unitarios: expande el uso. Cuando una llamada cuesta una décima parte de lo que costaba, dejas de racionar las llamadas. Envuelves todo en un modelo.
A continuación, aparecen los costes de segundo orden. Almacena vectores. Monitoreo. El ingeniero cuyo trabajo a tiempo completo es "hacer que las indicaciones dejen de alucinar." Nada de eso está en el precio del token.
Las empresas que ganan en costes son las que establecen un presupuesto y tratan el modelo como una utilidad, no como un juguete. Los que sangran son los que dejan que cada equipo gire por su cuenta.
La inteligencia barata sigue siendo inteligencia, y la inteligencia todavía necesita a alguien que la apunte. El objetivo es donde va el dinero.