Modelos de decisión frente a modelos grandes: cuando un modelo pequeño es la herramienta adecuada

Aquí hay una distinción que se pierde en el discurso de la IA: no todas las preguntas necesitan un modelo que pueda escribir un ensayo. Durante el último año ha aparecido una nueva categoría: los modelos de decisión, y están cambiando silenciosamente lo que se automatiza a escala.

Un modelo de decisión hace una cosa: dada alguna información y una pregunta escrita, devuelve una elección estructurada. Spam o no. Ruta aquí o allá. Aprobar o escalar. En la nube o autohospedado. El resultado es una etiqueta con una partitura, no prosa. Debido a que solo tiene que realizar una llamada limitada, puede ser pequeño (un par de miles de millones de parámetros) y lo suficientemente rápido como para ejecutarse dentro de una solicitud, en una computadora portátil o en un teléfono.

La economía es la parte que cambia las decisiones. El decisor de Perplexity cuesta aproximadamente cuatro centavos por millón de tokens de entrada sin cargo de salida. Cloudflare's is similar. Algunos se ejecutan localmente en menos de diez milisegundos. Haga la aritmética en un proceso que clasifica un millón de artículos al mes y la diferencia entre un modelo general y un modelo de decisión es el presupuesto total del proyecto.

Donde fallan es en la parte que todos descubren demasiado tarde: los modelos de decisión son estrechos por naturaleza. Pídale a uno que resuma un documento, escriba una respuesta o razone a través de dos partes de contexto conflictivas y seguramente obtendrá algo pequeño y equivocado. También heredan cualquier sesgo que exista en su entrenamiento: un clasificador entrenado en decisiones pasadas reproducirá decisiones pasadas, incluidas las malas, sin ninguna capacidad de notar el patrón.

La arquitectura que funciona está formada por capas, y esta es la parte realmente útil. Coloque el modelo de decisión al frente, donde filtra el tráfico de rutina (clasificar, enrutar, calificar) y dejar que solo los casos inciertos escale al modelo grande. La mayor parte de su volumen nunca necesita el nivel costoso, y el nivel costoso gasta su presupuesto en los casos en los que un humano realmente está esperando.

El modelo mental al que sigo volviendo: usa un modelo que escribe prosa cuando necesitas prosa, y usa un modelo que devuelve una etiqueta cuando necesitas una etiqueta. La gente opta por el modelo de frontera por defecto porque es el que conocen, y luego paga silenciosamente por los párrafos que iban a desechar. La pregunta que vale la pena hacerse no es qué tan inteligente es el modelo, sino qué forma debe tener la respuesta.

Preguntas frecuentes:

P: ¿Qué es un modelo de decisión de IA?

R: Un modelo pequeño creado para devolver una respuesta escrita (una etiqueta, una puntuación, una elección de ruta) en una sola pasada, en lugar de generar texto. Por lo general, es una fracción del tamaño y el costo de un asistente general, que es lo que hace que la automatización de gran volumen sea asequible.

P: ¿Cuándo debería utilizar un modelo de decisión en lugar de ChatGPT o Claude?

R: Cuando la tarea es una clasificación disfrazada (filtrado de spam, clasificación de tickets, enrutamiento, aprobación o escalamiento, deduplicación) y la respuesta es una etiqueta. Utilice un modelo general cuando necesite prosa, razonamiento en contexto o cualquier cosa que una persona pueda leer.

P: ¿Los modelos de decisión reemplazan a los grandes modelos?

R: Reemplazan los modelos grandes al frente del proceso, no en el medio. El patrón que funciona es primero la clasificación barata y luego la generación costosa, que es la forma en que se maneja la mayor parte del volumen por una fracción del costo.