La tranquila historia de octubre: pequeños modelos que simplemente deciden
Perplexity, Cloudflare, Microsoft y AWS enviaron modelos de decisión. Barato, local y aburrido en el mejor de los casos.
Mientras todos miraban los grandes chatbots, apareció una categoría diferente: modelos de decisión que devuelven una opción, no un párrafo.
pplx-decider-v1-27b de Perplexity cuesta alrededor de cuatro centavos por millón de tokens de entrada con salida gratuita. Clef de Cloudflare y Strands Decider de AWS realizan trabajos similares que usted mismo puede alojar.
La cuestión no es la inteligencia. Es el costo y la latencia de las llamadas aburridas: enrute este ticket, clasifique esta entrada, elija esta acción.
Para los desarrolladores, esta es la versión más útil que otro buque insignia. Una decisión de cuatro centavos supera a un ensayo de dos dólares cuando se gana un millón de ellos.
Espere más de esto. La capa básica de la IA se está volviendo barata rápidamente, y ahí es donde se construyen los productos.