OpenAI の生息地ストレージに関するリマインダー: モデルだけでなくインフラストラクチャも勝利する

OpenAI は、その Habitat ストレージ レイヤーが 10 億人を超える ChatGPT ユーザーに 12 倍の高速読み取りを提供している方法について説明しました。これは今週の AI の最もセクシーな話ではありませんが、最も重要な話です。

モデルの良さは、それを提供するシステムによって決まります。 10 億人のユーザーは 10 億人の同時読み取りを意味し、読み取りが遅いと、素晴らしい答えが人々が放棄するスピナーに変わります。

私たちはパラメーターやベンチマークに執着し、製品を瞬時に感じさせる配管を無視します。 ChatGPT が科学プロジェクトではなく習慣である理由は配管にあります。

大規模なものを構築する場合は、プロンプトだけでなくストレージ層についても検討してください。モデルはスクリーンショットを取得します。インフラストラクチャがユーザーを獲得します。