Best AI Utility logo
Best AI Utility
返回博客
2026年10月7日
5 分钟阅读
Trends

小模特正在吃演示

令人印象深刻的现场演示越来越成为一个微型模型,可以完美地完成一件狭窄的事情。对于大多数人来说,边境是多余的。

最近观看演示卷轴,就会发现一种模式:华丽的部分通常是一个小型的专业模型,以可怕的精度完成一项工作,而不是前沿巨人。一个包含 270 亿个参数的决策器路由支持票证,一个在 CPU 上击败 Whisper 的微型转录模型,一个 20 亿个模型,只需几分钱就能做出是/否的决定。

这是正确的架构。前沿模型是出色的多面手,对于运行一千万次的任务来说却具有可怕的价值。一旦销量很高,经济学就会发生剧烈转变:每百万美元 0.04 美元的决策模型会碾压同一标签上 2 美元的决策模型。

对于建筑商来说,这意味着明智之举通常是从小事做起。证明该任务适用于重点模型,然后仅针对实际需要的情况升级到前沿模型。大多数管道 95% 是常规的,5% 是困难的,将所有这些都视为前沿级是预算膨胀的原因。

明年获胜的演示不会是“看看我们的模型有多大”。这将是“看看完美地做到这一点花费是多么少。”小模型吃演示只是成本现实如期到来。

Put one of these tools on the leaderboard

Every rank on Best AI Utility is paid and time-stamped — outbid the current holder with one crypto payment and the rank is yours until someone outbids you.

相关文章

探索更多