推理芯片是新的淘金热,而我们大多数人都错过了
整个九月,每个人都在争论哪种模型最聪明。十月的资金讲述了一个不同的故事:资金流向了运行这些模型的芯片。 Positron AI 为其 Asimov 推理芯片融资 8.75 亿美元,Tenstorrent 融资 15 亿美元的 E 轮融资均于本月下半月落地,而且都不是为了训练新的前沿模型。他们致力于以更快、更便宜的方式为我们拥有的人提供服务。
这就是为什么这对任何只使用这些工具的人都很重要。您为每个查询支付的价格主要是推理成本。当更好的芯片出现时,每个代币的价格就会下降,而便宜的层就足以完成实际工作。我们本月已经看到了这一点:Claude Haiku 5.5 的价格比其前身便宜约 90%,而 GPT-6 Sol 则下降了约 50%,三个实验室在 9 天内都达到了相同的 2 美元和 10 美元的定价。
风险在于集中度。如果两三个芯片制造商拥有服务模型的有效路径,那么他们就拥有每个应用程序行驶的收费公路。这就是为什么开放权重人群在这里也很重要:可以在自己的硬件上运行的模型可以对冲别人的硅税。
对于构建者来说,实际的举措是路由:将大容量、低风险的 80% 发送到廉价芯片上的廉价快速模型,并为判断调用保留高级计算。现在真正的成本杠杆是调度员,而不是模型。
我不买股票。我只是注意到有趣的钱不再追逐大脑,而是开始追逐管道,而管道实际上决定了谁有能力交付。
