10 美分的俳句 5.5 让我将 80% 的电话转给了廉价型号
Claude Haiku 5.5 每百万输出代币的成本约为 10 美分,这个数字改变了我的构建方式。我拨打的大多数电话都是大容量、低风险的:分类、汇总、路由。他们不需要旗舰。
我曾经把所有东西都发送给大模型,因为它最简单。然后账单到了,我了解到“最简单”实际上是最昂贵的。俳句只用了一小部分就完成了 80% 的无聊内容,但我几乎没有注意到质量下降。
20% 的困难、微妙或高风险仍然属于昂贵的模型。这就是整个见解:将模型与赌注相匹配,而不是与你的习惯相匹配。
如果您还没有按成本进行路由,那么您就为不考虑它的特权付出了过高的代价。便宜的型号通常比定价页面暗示的要好得多。
