Modelos de decisão versus grandes modelos: quando um modelo minúsculo é a ferramenta certa

Aqui está uma distinção que se perde no discurso da IA: nem toda pergunta precisa de um modelo que possa escrever um ensaio. Uma nova categoria surgiu no último ano – modelos de decisão – e está silenciosamente mudando o que é automatizado em grande escala.

Um modelo de decisão faz uma coisa: dada alguma informação e uma pergunta digitada, ele retorna uma escolha estruturada. Spam ou não. Rota aqui ou ali. Aprovar ou escalar. Nuvem ou auto-hospedado. O resultado é um rótulo com uma partitura, não uma prosa. Como ele só precisa fazer uma chamada restrita, ele pode ser minúsculo – alguns bilhões de parâmetros – e rápido o suficiente para ser executado dentro de uma solicitação, em um laptop ou em um telefone.

A economia é a parte que muda as decisões. O decisor do Perplexity custa cerca de quatro centavos por milhão de tokens de entrada, sem cobrança de saída. O da Cloudflare é semelhante. Alguns são executados localmente em menos de dez milissegundos. Faça a aritmética em um pipeline que classifica um milhão de itens por mês e a diferença entre um modelo geral e um modelo de decisão é o orçamento total do projeto.

Onde eles falham é a parte que todos descobrem tarde demais: os modelos de decisão são estreitos por construção. Peça a alguém para resumir um documento, escrever uma resposta ou raciocinar sobre duas partes conflitantes do contexto e você obterá algo pequeno e errado. Eles também herdam qualquer preconceito presente em seu treinamento – um classificador treinado em decisões passadas reproduzirá decisões passadas, incluindo as ruins, sem qualquer capacidade de perceber o padrão.

A arquitetura que funciona é em camadas, e esta é a parte genuinamente útil. Coloque o modelo de decisão na frente, onde ele filtra o tráfego rotineiro – classificar, encaminhar, pontuar – e deixar apenas os casos incertos escalarem para o grande modelo. A maior parte do seu volume nunca precisa da camada cara, e a camada cara gasta seu orçamento nos casos em que um humano está realmente esperando.

O modelo mental ao qual sempre volto: use um modelo que escreva prosa quando precisar de prosa e use um modelo que retorne um rótulo quando você precisar de um rótulo. As pessoas recorrem ao modelo de fronteira por defeito, porque é aquele que conhecem, e depois pagam silenciosamente pelos parágrafos que iriam deitar fora. A questão que vale a pena fazer não é quão inteligente é o modelo, mas qual deve ser o formato da resposta.

Perguntas frequentes:

P: O que é um modelo de decisão de IA?

R: Um pequeno modelo criado para retornar uma resposta digitada – um rótulo, uma pontuação, uma opção de roteamento – em uma única passagem, em vez de gerar texto. Normalmente tem uma fração do tamanho e do custo de um assistente geral, o que torna a automação de alto volume acessível.

P: Quando devo usar um modelo de decisão em vez de ChatGPT ou Claude?

R: Quando a tarefa é uma classificação disfarçada – filtragem de spam, triagem de tickets, roteamento, aprovação ou escalonamento, desduplicação – e a resposta é um rótulo. Use um modelo geral quando precisar de prosa, raciocínio dentro do contexto ou qualquer coisa que uma pessoa leia.

P: Os modelos de decisão substituem os grandes modelos?

R: Eles substituem grandes modelos na frente do pipeline, não no meio dele. O padrão que funciona é a classificação barata primeiro e a geração cara depois, que é como você obtém a maior parte do volume movimentado por uma fração do custo.