Inferenzchips sind der neue Goldrausch, und die meisten von uns haben ihn verpasst

Alle verbrachten den September damit, darüber zu streiten, welches Modell das intelligenteste sei. Die Finanzierung im Oktober erzählte eine andere Geschichte: Das Geld floss in die Chips, die diese Modelle betreiben. Die 875-Millionen-Dollar-Beschaffung von Positron AI für seinen Asimov-Inferenzchip und die 1,5-Milliarden-Dollar-Serie-E-Finanzierung von Tenstorrent landeten beide in der zweiten Monatshälfte, und bei keinem von beiden geht es um die Schulung eines neuen Grenzmodells. Es geht darum, diejenigen, die wir haben, schneller und billiger zu bedienen.

Hier erfahren Sie, warum das für jeden wichtig ist, der die Tools einfach nutzt. Bei dem Preis, den Sie pro Abfrage zahlen, handelt es sich größtenteils um Inferenzkosten. Wenn besseres Silizium auftaucht, sinkt der Preis pro Token und die billige Stufe wird gut genug, um echte Arbeit zu leisten. Wir haben es diesen Monat bereits gesehen: Claude Haiku 5.5 war etwa 90 % günstiger als sein Vorgänger, und GPT-6 Sol sank um etwa 50 %, wobei sich drei Labore innerhalb von neun Tagen auf den gleichen Preis von 2 $ in und 10 $ einigten.

Das Risiko liegt in der Konzentration. Wenn zwei oder drei Chiphersteller den effizienten Weg zur Bereitstellung von Modellen besitzen, besitzen sie die Mautstraße, auf der jede App fährt. Deshalb ist auch hier die Open-Weight-Crowd wichtig: Ein Modell, das Sie auf Ihrer eigenen Hardware ausführen können, ist eine Absicherung gegen die Siliziumsteuer eines anderen.

Für Bauherren besteht der praktische Schritt im Routing: Schicken Sie die 80 % mit großem Volumen und geringem Einsatz an ein günstiges, schnelles Modell auf billigem Silizium und bewahren Sie die Premium-Rechenleistung für die Entscheidungsfindung auf. Der Disponent, nicht das Modell, ist jetzt der eigentliche Kostenhebel.

Ich kaufe keine Aktien. Mir ist gerade aufgefallen, dass das interessante Geld aufgehört hat, dem Verstand hinterherzujagen, und stattdessen begonnen hat, den Klempnerarbeiten hinterherzujagen, und dass die Klempnerarbeiten tatsächlich darüber entscheiden, wer sich den Versand leisten kann.