我实际依赖的最便宜的型号

我曾经为那些感觉值得前沿价格的任务保留模型调用。 Haiku 5.5 取消了每百万输入 0.10 美元的门槛。现在，一次性分类、垃圾邮件分类、“其中哪一个是重复的”检查都会得到模型调用，因为成本是舍入误差。

行为的改变比节省更重要。当推理几乎是免费的时，你就不再囤积它，并且因为“不值得调用”而跳过的小型自动化开始存在。这就是真正的时间。

我仍然不相信它的承重推理。努力刻度盘有帮助，但 0.10 美元的模型做出 10,000 美元的决定是错误的经济。我用它来处理无聊的 80%，并将奇怪的 20% 升级为更大的东西。

我们的教训不是“便宜就是最好”。价格改变了你建造的东西的形状。按照这个速度，一整类微型代理变得值得运行，而前沿模型则被保留在值得运行的时刻。