Les puces d'inférence sont la nouvelle ruée vers l'or, et la plupart d'entre nous l'ont manqué
Tout le monde a passé le mois de septembre à se demander quel modèle était le plus intelligent. Le financement d'octobre raconte une histoire différente : l'argent est allé aux puces qui font fonctionner ces modèles. L'augmentation de 875 millions de dollars de Positron AI pour sa puce d'inférence Asimov et la série E de 1,5 milliard de dollars de Tenstorrent ont toutes deux atterri dans la seconde moitié du mois, et aucune ne concerne la formation d'un nouveau modèle frontière. Leur objectif est de servir ceux que nous avons, plus rapidement et à moindre coût.
Voici pourquoi cela est important pour quiconque utilise simplement les outils. Le prix que vous payez par requête est principalement un coût d'inférence. Lorsqu’un meilleur silicium apparaît, le prix par jeton baisse et le niveau bon marché devient suffisamment bon pour effectuer un vrai travail. Nous l'avons déjà vu ce mois-ci : Claude Haiku 5.5 était environ 90 % moins cher que son prédécesseur, et GPT-6 Sol a chuté d'environ 50 %, avec trois laboratoires convergeant vers le même prix de 2 $ d'entrée et de 10 $ de sortie en neuf jours.
Le risque est la concentration. Si deux ou trois fabricants de puces possèdent le chemin efficace pour desservir les modèles, ils possèdent la route à péage sur laquelle circule chaque application. C'est pourquoi le public open-weight est important ici aussi : un modèle que vous pouvez exécuter sur votre propre matériel est une protection contre la taxe sur le silicium de quelqu'un d'autre.
Pour les constructeurs, la solution pratique est le routage : envoyer les 80 % à volume élevé et à faibles enjeux vers un modèle rapide et bon marché sur du silicium bon marché, et conserver le calcul premium pour les décisions de jugement. C’est désormais le répartiteur, et non le modèle, qui est le véritable levier des coûts.
Je n'achète pas d'actions. Je remarque simplement que l'argent intéressant a cessé de courir après les cerveaux et a commencé à courir après la plomberie, et c'est la plomberie qui décide en réalité qui peut se permettre d'expédier des marchandises.