0.04 美元的决策模型正在悄然取代我的许多即时工程
我的“聪明”提示有一半只是穿着风衣的分类。
我过去常常编写详细的提示,让前沿模型决定一些事情:是否是垃圾邮件、A 级或 B 级、升级还是关闭。
Perplexity 的 pplx-decider 每百万代币 0.04 美元及其同行让我意识到这些提示是昂贵的。
一个包含 20 亿个参数的决策模型一次性完成分类,并返回一个干净的标签,无需解析任何散文。
我将其中的十几个电话从大型号上移走了,账单就下降了,而用户却没有注意到差异。
即时工程并未消亡,但其中很大一部分从未真正得到提示。我们为决策付出了过高的代价。
