Recordatorio de almacenamiento de hábitat de OpenAI: la infraestructura gana, no solo los modelos

OpenAI describió cómo su capa de almacenamiento Habitat sirve a más de mil millones de usuarios de ChatGPT con lecturas 12 veces más rápidas. Es la historia de IA menos sexy de la semana y la más importante.

Un modelo es tan bueno como el sistema que lo ofrece. Mil millones de usuarios significan mil millones de lecturas simultáneas, y una lectura lenta convierte una respuesta brillante en una ruleta que la gente abandona.

Nos obsesionamos con los parámetros y los puntos de referencia e ignoramos la plomería que hace que el producto parezca instantáneo. La plomería es la razón por la cual ChatGPT es un hábito y no un proyecto científico.

Si construye algo a escala, estudie la capa de almacenamiento, no solo el mensaje. El modelo recibe las capturas de pantalla. La infraestructura atrae a los usuarios.