Rappel de stockage d'habitat d'OpenAI : l'infrastructure gagne, pas seulement les modèles

OpenAI a décrit comment sa couche de stockage Habitat dessert plus d'un milliard d'utilisateurs ChatGPT avec des lectures 12 fois plus rapides. C’est l’histoire d’IA la moins sexy de la semaine et la plus importante.

Un modèle est aussi bon que le système qui le délivre. Un milliard d'utilisateurs signifie un milliard de lectures simultanées, et une lecture lente transforme une réponse brillante en un spinner que les gens abandonnent.

Nous sommes obsédés par les paramètres et les références et ignorons la plomberie qui rend le produit instantané. La plomberie est la raison pour laquelle ChatGPT est une habitude et non un projet scientifique.

Si vous créez quelque chose à grande échelle, étudiez la couche de stockage, pas seulement l'invite. Le modèle obtient les captures d'écran. L'infrastructure attire les utilisateurs.