L'API Decisions est la victoire ennuyeuse qui fait réellement travailler les agents

Microsoft a mis l'API Azure OpenAI Decisions en disponibilité générale, et presque personne ne l'a remarqué. Il renvoie des choix, des probabilités et des scores de confiance au lieu du texte généré. C’est la chose la plus utile qui soit arrivée aux agents depuis des mois.

Les agents n'ont pas besoin d'un paragraphe. Ils ont besoin d’une branche à prendre. Lorsqu'un modèle renvoie « l'option B, 82 % de confiance » au lieu de trois phrases de couverture, l'agent peut agir au lieu de deviner ce que signifiait le modèle.

La tendance vers des résultats déterministes, des scores par rapport aux peines, est ce qui fait sortir les agents de la démo et les intègre à la masse salariale. Un système qui renvoie du texte a besoin d'un autre modèle pour l'analyser. Un système qui renvoie un nombre s'exécute simplement.

Je prendrais dix victoires d'API ennuyeuses comme celle-ci plutôt qu'une seule version de modèle flashy. L’infrastructure est ce qui expédie. C'est la prose qui est capturée.