Erinnerung an die Habitat-Speicherung von OpenAI: Infrastruktur gewinnt, nicht nur Modelle

OpenAI beschrieb, wie seine Habitat-Speicherschicht mehr als eine Milliarde ChatGPT-Benutzer mit 12-mal schnelleren Lesevorgängen versorgt. Es ist die am wenigsten sexy KI-Geschichte der Woche und die wichtigste.

Ein Modell ist nur so gut wie das System, das es liefert. Eine Milliarde Benutzer bedeuten eine Milliarde gleichzeitiges Lesen, und ein langsames Lesen verwandelt eine brillante Antwort in einen Spinner, den die Leute aufgeben.

Wir sind besessen von Parametern und Benchmarks und ignorieren die Installation, die dafür sorgt, dass sich das Produkt sofort anfühlt. Der Klempner ist der Grund, warum ChatGPT eine Gewohnheit und kein wissenschaftliches Projekt ist.

Wenn Sie etwas in großem Maßstab erstellen, studieren Sie die Speicherebene und nicht nur die Eingabeaufforderung. Das Model bekommt die Screenshots. Die Infrastruktur holt die Benutzer.