Decisions API 是让代理真正发挥作用的无聊胜利
微软将 Azure OpenAI Decisions API 投入普遍使用,但几乎没有人注意到。它返回选择、概率和置信度分数,而不是生成的文本。这是几个月来对特工来说最有用的事情。
代理不需要段落。他们需要一个分支来获取。当模型返回“选项 B,82% 置信度”而不是三句话的对冲时,代理可以采取行动,而不是猜测模型的含义。
确定性输出(即句子分数)的趋势使代理脱离演示并进入工资单。返回文本的系统需要另一个模型来解析它。返回数字的系统就可以运行。
我宁愿选择十个像这样无聊的 API,也不愿赢得一个华而不实的模型版本。基础设施就是船舶。散文就是被截图的内容。
