十月的安静故事:刚刚做出决定的小模型
Perplexity、Cloudflare、Microsoft 和 AWS 都提供了决策模型。廉价、本地化、无聊的最佳方式。
当每个人都在观看大型聊天机器人时,却出现了一个不同的类别:返回一个选择而不是一个段落的决策模型。
Perplexity 的 pplx-decider-v1-27b 的运行速度约为每百万个输入代币 4 美分,并提供免费输出。 Cloudflare 的 Clef 和 AWS 的 Strands Decider 可以完成类似的工作,您可以自行托管。
重点不在于聪明。这是无聊呼叫的成本和延迟:路由此票证,对此输入进行分类,选择此操作。
对于构建者来说,这是比其他旗舰产品更有用的版本。当你做出一百万篇论文时,一个四美分的决定胜过一篇两美元的论文。
期待更多这样的事情。人工智能的商品层正在快速变得便宜,而这正是产品的构建所在。
