추론 칩은 새로운 골드 러시이며 우리 대부분은 이를 놓쳤습니다.

모두가 어떤 모델이 가장 똑똑한지 논쟁하며 9월을 보냈습니다. 10월의 자금 지원은 다른 이야기를 들려주었습니다. 돈은 해당 모델을 실행하는 칩에 사용되었습니다. Positron AI의 Asimov 추론 칩에 대한 8억 7,500만 달러 인상과 Tenstorrent의 15억 달러 시리즈 E는 모두 이달 후반기에 이루어졌으며 둘 다 새로운 프론티어 모델을 교육하는 것에 관한 것이 아닙니다. 그들은 우리가 가지고 있는 것을 더 빠르고 더 저렴하게 제공하는 것입니다.

도구를 사용하는 모든 사람에게 이것이 중요한 이유는 다음과 같습니다. 쿼리당 지불하는 비용은 대부분 추론 비용입니다. 더 나은 실리콘이 나타나면 토큰당 가격이 떨어지고 저렴한 계층이 실제 작업을 수행하기에 충분해집니다. 우리는 이번 달에 이미 그것을 보았습니다. Claude Haiku 5.5는 이전 제품보다 약 90% 저렴했고 GPT-6 Sol은 약 50% 하락했으며 3개 연구소는 9일 이내에 동일한 $2 in 및 $10 out 가격으로 수렴했습니다.

위험은 집중입니다. 2~3개의 칩 제조업체가 모델 제공에 대한 효율적인 경로를 소유하고 있다면 모든 앱이 주행하는 유료 도로를 소유하게 됩니다. 이것이 바로 개방형 대중이 여기서도 중요한 이유입니다. 자신의 하드웨어에서 실행할 수 있는 모델은 다른 사람의 실리콘 세금에 대한 헤지입니다.

빌더의 경우 실질적인 조치는 라우팅입니다. 대용량, 저부담 80%를 값싼 실리콘의 값싸고 빠른 모델로 보내고 판단 요구를 위해 프리미엄 컴퓨팅을 저장합니다. 이제 모델이 아닌 디스패처가 실제 비용 수단이 됩니다.

나는 주식을 사지 않습니다. 나는 흥미로운 돈이 두뇌를 쫓는 것을 멈추고 배관을 쫓기 시작했다는 것을 알아차렸을 뿐이고 배관은 실제로 누가 배송할 여유가 있는지 결정하는 것입니다.