오픈 웨이트, 10월 하순: Mistral의 Le Chonk와 다운로드 경쟁

이번 달에도 개방형 벽이 계속 깨졌습니다. Mistral의 Large 4(490억 개의 활성 및 100만 개의 토큰 컨텍스트를 갖춘 10억 개의 총 매개변수 다중 모달 모델)는 10월 6일부터 API 미리 보기로 제공되고 있으며, 다운로드 가능한 가중치는 레드팀 이후 10월 27일경에 줄어들 예정입니다. 백만 개의 토큰당 $0.68 in / $2.09 out의 출시 가격으로 비용면에서 대부분의 폐쇄된 경쟁사보다 저렴합니다.

코딩과 추론을 목표로 하는 백만 개의 토큰 컨텍스트를 갖춘 5,010억 개의 매개변수 희소 전문가 혼합 모델인 Reflection AI의 Beam은 이번 달 말 Apache 2.0 라이선스에 따라 출시될 예정입니다. 10월 12일 출시된 Meta's Muse Wonder는 가격이 4달러/20달러이며 한계에 가까운 것으로 알려졌습니다. 하지만 데이터 기본값(기본적으로 사용자 제출에 따라 학습)은 누군가가 이를 기반으로 구축하기 전에 주의 깊게 읽어 볼 가치가 있습니다.

패턴은 일관됩니다. 폐쇄형 랩은 절대 경계를 유지하지만 '충분히 좋고 자체 호스팅이 자유로운' 계층이 빠르게 채워지고 있습니다. 다른 사람의 API로 데이터를 보낼 수 없는 팀의 경우 이제 해당 레이어가 실제 제작 작업이 이루어지는 곳이 되며 이번 달에는 메뉴가 훨씬 더 커졌습니다.

문제는 변하지 않았습니다. 개방형 가중치는 GPU, 서빙, 가드레일, 모델이 어리석은 말을 할 때 비난 등의 작업을 소유한다는 것을 의미합니다. 건물 외부로 나가는 데이터가 시작되지 않는 워크로드 하나를 자체 호스팅하고 나머지는 임대합니다. 하이브리드는 어느 쪽이든 더 저렴하며 10월에 이를 실용적으로 만들었습니다.

API 구독을 중단하지 않습니다. 저는 민감한 작업 부하를 제가 제어하는 하드웨어로 옮기고 있으며 이번 달 릴리스에서는 마침내 이를 연구 호기심 대신 실제 옵션으로 만들었습니다.