OpenAI 栖息地存储提醒:基础设施胜出,而不仅仅是模型
OpenAI 描述了其 Habitat 存储层如何以 12 倍的更快读取速度为超过 10 亿 ChatGPT 用户提供服务。这是本周最不性感的人工智能故事,也是最重要的。
模型的好坏取决于提供模型的系统。十亿个用户意味着十亿个并发读取,而缓慢的读取会将一个出色的答案变成人们放弃的旋转器。
我们痴迷于参数和基准,而忽略了让产品感觉即时的管道。这就是为什么 ChatGPT 是一种习惯而不是一个科学项目的原因。
如果您大规模构建任何东西,请研究存储层,而不仅仅是提示。模型获取屏幕截图。基础设施吸引用户。
