Sonnet 5.5 声称速度提高了 30%。我的收件箱发现了一些不同的东西
每个人都报告了基准。没有人报告速度对工作日的影响。我按照正常的星期一运行了两次——每个模型一次。
Sonnet 5.5 推出时的数据如下:输出速度提高了 30%,每项任务的成本降低了 30%,Terminal-Bench 为 70.6%,而 Sonnet 5 为 10.3%。美好的。基准测试不会支付我的发票,所以我进行了一次深思熟虑的实验——一个完整的周一,我的实际工作两次,每个模型一次,相同的任务,我自己的时间安排。
这些任务很乏味:十四封客户电子邮件、重写项目简介、一些合同问号段落、总结的调查结果表以及每周的时事通讯草稿。 Anthropic 声称 Sonnet 5.5 正是为“范围广泛的日常工作”而构建的。在 Sonnet 5 中,当天的 AI 部分花费了大约 2 个小时。 5.5,大约80分钟。
但有趣的发现不是几分钟。在旧模型中,我的模式是批处理并等待 - 对几个提示进行排队,切换到其他内容,然后返回。有了更快的,我就停止了批处理。询问,得到,继续,再询问。由于延迟超过了我的注意力切换阈值,工作流程发生了变化。这比原始的 30% 更有价值,这就是为什么速度改进会奇怪地复合。
在我可以测量的地方质量保持不变。电子邮件草稿需要相同数量的编辑,简报可以说更紧凑,合同答复也标记了相同的条款。终端-工作台的跳跃表明代理编码的真正能力得到了提升,我无法在一天的电子邮件分类中亲自验证这一点——但在我的领域里没有什么变得更糟。
削减成本是一场悄然的革命。在相同工作负载下,我的每月账单明显下降,对于每天运行数千个任务的团队来说,30% 是人员计算。对于我个人来说,这就是订阅明显值得和我对续订耸耸肩之间的区别。廉价且快速是人工智能不再成为你所考虑的一个产品的原因。
