AWS Infinity 是我们所缺少的安静基础设施
AWS 开源了 Infinity,这是一个运行时,供代理将大部分时间花在等待构建、批准或长时间拉取请求上。听起来很狭窄。这实际上是使代理规模变得负担得起的原因。
大多数代理设计将每个循环都驻留在内存中,当您运行数千个循环时,这就会造成破坏。 Infinity 让它们可以廉价地闲置,因此并发不再是一种税收。
这是决定代理是演示还是平台的不起眼的层。巧妙的提示不会扩展;便宜的等待确实如此。
我宁愿业界像这样的开源管道,也不愿发布另一个聊天机器人。无聊的部分让令人兴奋的部分得以大量运行。
