决策模型与大模型：当小模型是正确的工具时
一个 20 亿参数的模型可以用不到一美分的标签来回答。这改变了值得自动化的东西。
在人工智能的讨论中，有一个被忽视的区别：并不是每个问题都需要一个可以写论文的模型。去年出现了一个新类别——决策模型——它们正在悄然改变大规模自动化的方式。
决策模型做一件事：给定一些输入和一个键入的问题，它返回一个结构化的选择。垃圾邮件与否。路线在这里或那里。批准或升级。云或自托管。输出是带有分数的标签，而不是散文。因为它只需要进行一次狭窄的调用，所以它可以很小（几十亿个参数），而且速度足够快，可以在请求中、笔记本电脑或手机上运行。
经济学是改变决策的部分。 Perplexity 决策器的运行成本约为每百万个输入代币 4 美分，且不收取输出费用。 Cloudflare's is similar.有些在本地运行的时间不到十毫秒。对每月分类一百万个项目的管道进行算术，通用模型和决策模型之间的差异就是整个项目预算。
他们失败的地方是每个人都为时已晚发现的部分：决策模型的构造很狭窄。要求一个人总结一份文档，写一篇回复，或者在两个相互冲突的背景下进行推理，你会得到一些小而错误的自信。他们还继承了训练中存在的任何偏见——根据过去的决策训练的分类器将重现过去的决策，包括错误的决策，而没有任何能力注意到这种模式。
有效的架构是分层的，这是真正有用的部分。将决策模型放在前面，过滤常规流量——分类、路由、评分——并且只让不确定的情况升级到大模型。您的大部分卷永远不需要昂贵的层，而昂贵的层可以将其预算花在人类实际等待的情况上。
我不断回顾的思维模型：当你需要散文时，使用一个写散文的模型，当你需要标签时，使用一个返回标签的模型。人们默认选择前沿模型，因为这是他们所知道的模型，然后悄悄地为他们要扔掉的段落付费。值得问的问题不是模型有多智能，而是答案需要是什么形状。
常见问题：
问：什么是人工智能决策模型？
答：一个小型模型，旨在一次性返回一个键入的答案（标签、分数、路由选择），而不是生成文本。它通常只是一般助理的规模和成本的一小部分，这使得大批量自动化变得经济实惠。
问：什么时候应该使用决策模型而不是 ChatGPT 或 Claude？
答：当任务是变相分类时——垃圾邮件过滤、票证分类、路由、批准或升级、重复数据删除——答案就是标签。当您需要散文、跨上下文推理或人们会阅读的任何内容时，请使用通用模型。
问：决策模型会取代大模型吗？
答：它们取代了管道前端的大型模型，而不是中间的大型模型。有效的模式是首先进行廉价的分类，然后进行昂贵的生成，这就是您如何以一小部分成本处理大部分数据量。