Best AI Utility logo
Best AI Utility
返回博客
2026年10月25日
5 分钟阅读
Opinion

AWS Infinity 是我们所缺少的安静基础设施

AWS 开源了 Infinity,这是一个运行时,供代理将大部分时间花在等待构建、批准或长时间拉取请求上。听起来很狭窄。这实际上是使代理规模变得负担得起的原因。

大多数代理设计将每个循环都驻留在内存中,当您运行数千个循环时,这就会造成破坏。 Infinity 让它们可以廉价地闲置,因此并发不再是一种税收。

这是决定代理是演示还是平台的不起眼的层。巧妙的提示不会扩展;便宜的等待确实如此。

我宁愿业界像这样的开源管道,也不愿发布另一个聊天机器人。无聊的部分让令人兴奋的部分得以大量运行。

Put one of these tools on the leaderboard

Every rank on Best AI Utility is paid and time-stamped — outbid the current holder with one crypto payment and the rank is yours until someone outbids you.

相关文章

探索更多