A API de decisões é a vitória enfadonha que faz os agentes realmente trabalharem

A Microsoft colocou a API Azure OpenAI Decisions em disponibilidade geral e quase ninguém percebeu. Ele retorna escolhas, probabilidades e pontuações de confiança em vez de texto gerado. Essa é a coisa mais útil que aconteceu aos agentes em meses.

Os agentes não precisam de um parágrafo. Eles precisam de um galho para pegar. Quando um modelo retorna “opção B, 82% de confiança” em vez de três sentenças de hedge, o agente pode agir em vez de adivinhar o que o modelo quis dizer.

A tendência para resultados determinísticos, pontuações sobre sentenças, é o que tira os agentes da demonstração e os coloca na folha de pagamento. Um sistema que retorna texto precisa de outro modelo para analisá-lo. Um sistema que retorna um número simplesmente é executado.

Eu aceitaria dez vitórias chatas de API como essa em vez de um lançamento de modelo chamativo. Infraestrutura é o que envia. A prosa é o que é capturado.