La fiebre del oro del modelo de decisión: por qué todo el mundo envió un modelo pequeño este mes
En octubre apareció una nueva categoría y todos los laboratorios corrieron para llenarla. Los precios son absurdos.
A principios de octubre sucedió algo extraño. En lugar de modelos de chat más grandes, los laboratorios enviaron pequeños modelos de "decisión" que toman su estado y una pregunta escrita y devuelven una elección, una puntuación o una probabilidad de una sola vez.
OpenAI puso a GPT-6 Luna detrás de una API de Decisiones el 6 de octubre, prometiendo respuestas aproximadamente diez veces más rápidas que la API de Respuestas a 0,10 dólares por millón de tokens de entrada sin cargo de salida. Le siguió Cloudflare con Clef, Perplexity con pplx-decider a 0,04 dólares, Microsoft con Decision-1 a 0,042 dólares y Liquid AI con modelos d1 que responden en ocho milisegundos en una GPU de consumo.
El atractivo es simple: la mayoría de las llamadas de 'IA' en un producto son una clasificación disfrazada. No necesitas un modelo de razonamiento para decidir si un correo electrónico es spam o a qué nivel pertenece un usuario. Un modelo de dos mil millones de parámetros lo hace por una fracción de centavo.
AWS incluso tiene Strands Decider 2B de código abierto, para que pueda ejecutar todo en su propio hardware. La ola de materias primas aquí es real y avanza más rápido que la carrera emblemática.
Si todavía estás incitando a un modelo fronterizo a hacer una llamada de sí o no mil veces al día, los lanzamientos de este mes son un reembolso de impuestos directos.