Lembrete de armazenamento de habitat da OpenAI: infraestrutura vence, não apenas modelos

OpenAI descreveu como sua camada de armazenamento Habitat atende mais de um bilhão de usuários ChatGPT com leituras 12x mais rápidas. É a história de IA menos sexy da semana e a mais importante.

Um modelo é tão bom quanto o sistema que o entrega. Um bilhão de usuários significa um bilhão de leituras simultâneas, e uma leitura lenta transforma uma resposta brilhante em um spinner que as pessoas abandonam.

Ficamos obcecados com parâmetros e benchmarks e ignoramos o encanamento que faz o produto parecer instantâneo. O encanamento é o motivo pelo qual o ChatGPT é um hábito e não um projeto científico.

Se você construir algo em escala, estude a camada de armazenamento, não apenas o prompt. O modelo obtém as capturas de tela. A infraestrutura atrai os usuários.