작은 모델이 데모를 먹고 있습니다

최근 데모 릴을 보면 패턴이 나타납니다. 화려한 부분은 일반적으로 개척지의 거인이 아니라 무서운 정밀도로 한 가지 작업을 수행하는 작고 전문적인 모델입니다. 270억 개의 매개변수 결정자 라우팅 지원 티켓, CPU에서 Whisper를 능가하는 작은 전사 모델, 몇 푼도 안 들여 예/아니요를 결정하는 20억 모델.

이것이 올바른 아키텍처입니다. 프론티어 모델은 뛰어난 다재다능함과 천만 번 실행하는 작업에 대한 끔찍한 가치입니다. 거래량이 많으면 경제 상황이 어려워집니다. 백만 달러당 0.04달러 결정 모델이 같은 라벨의 2달러 결정 모델을 압도합니다.

건축업자에게 이는 작은 규모로 시작하는 것이 현명한 움직임이라는 것을 의미합니다. 작업이 집중된 모델로 작동함을 증명한 다음 실제로 필요한 경우에만 프론티어 모델로 확대합니다. 대부분의 파이프라인은 95%는 일상적이고 5%는 어렵습니다. 모든 파이프라인을 최상급으로 취급하면 예산이 폭발적으로 늘어납니다.

내년에 승리할 데모는 '우리 모델이 얼마나 큰지 보세요'가 아닙니다. '이것을 완벽하게 수행하는 데 비용이 얼마나 적은지 살펴보세요.' 데모를 먹는 작은 모델은 일정에 맞춰 도착하는 비용이 현실입니다.