推論チップは新たなゴールドラッシュだが、私たちのほとんどはそれを見逃していた

9 月はどのモデルが最もスマートかについて誰もが議論して過ごしました。 10月の資金調達は別の物語を語った。資金はこれらのモデルを実行するチップに使われた。 Positron AI の Asimov 推論チップに対する 8 億 7,500 万ドルの調達と Tenstorrent のシリーズ E の 15 億ドルはどちらも月の後半に集まりましたが、どちらも新しいフロンティア モデルのトレーニングに関するものではありません。彼らは、私たちが持っているものをより速く、より安く提供することを目指しています。

ツールを使用するだけの人にとってそれが重要である理由は次のとおりです。クエリごとに支払う料金は、ほとんどが推論コストです。より優れたシリコンが登場すると、トークンあたりの価格が下がり、安価な層でも実際の作業に十分な性能が得られます。今月すでにそれを目にしました。Claude Haiku 5.5 は前バージョンより約 90% 安くなり、GPT-6 Sol は約 50% 下落し、9 日以内に 3 つのラボが同じ 2 ドルのインと 10 ドルのアウトの価格設定に集まりました。

リスクは集中力です。 2 つまたは 3 つのチップメーカーがモデルを提供するための効率的なパスを所有している場合、彼らはすべてのアプリが走行する有料道路を所有していることになります。だからこそ、ここでも無差別級の群衆が重要です。自分のハードウェアで実行できるモデルは、他人のシリコン税に対するヘッジになります。

ビルダーにとって、現実的な動きはルーティングです。大容量で低額のリソースの 80% を、安価なシリコン上の安価な高速モデルに送信し、プレミアム コンピューティングを判断の呼び出しのために保存します。現在、実際のコストの中心となるのはモデルではなくディスパッチャです。

株は買ってないんです。私は、興味深いお金が頭脳を追うのをやめて配管を追い始めたことに気づいたところです、配管こそが実際に誰が出荷する余裕があるかを決定するものです。