O modelo de decisão de US$ 0,04 está substituindo silenciosamente grande parte da minha engenharia imediata
Metade das minhas dicas “inteligentes” eram apenas classificações em um sobretudo.
Eu costumava escrever instruções elaboradas para fazer um modelo de fronteira decidir as coisas: spam ou não, nível A ou B, escalar ou fechar.
O decisor pplx da Perplexity de US$ 0,04 por milhão de tokens e seus pares me fizeram perceber que essas solicitações eram um teatro caro.
Um modelo de decisão de dois bilhões de parâmetros faz a classificação em uma única passagem e retorna um rótulo limpo, sem prosa para analisar.
Mudei uma dúzia dessas ligações do modelo grande e a conta caiu sem que o usuário percebesse a diferença.
A engenharia imediata não está morta, mas uma parte dela nunca foi realmente imediata. Foi pela tomada de decisões que pagamos a mais.
