Decision Models vs Big Models: When a Tiny Model Is the Right Tool
20억 개의 매개변수 모델은 1센트 미만의 비용으로 레이블로 응답할 수 있습니다. 이는 자동화할 가치가 있는 것을 변화시킵니다.
A decision model does one thing: given some input and a typed question, it returns a structured choice. 스팸인지 아닌지. 여기 또는 저기로 경로를 지정하세요. 승인하거나 에스컬레이션하세요. 클라우드 또는 자체 호스팅. 출력은 산문이 아닌 점수가 있는 레이블입니다. 단 한 번의 좁은 호출만 수행하면 되기 때문에 크기가 작고(20억 개의 매개변수) 랩탑 또는 휴대폰에서 요청 내에서 실행될 만큼 충분히 빠릅니다.
경제학은 결정을 바꾸는 부분이다. Perplexity의 디사이더는 출력 요금 없이 입력 토큰 백만 개당 약 4센트로 실행됩니다. Cloudflare도 비슷합니다. 일부는 10밀리초 이내에 로컬로 실행됩니다. 한 달에 백만 개의 항목을 분류하는 파이프라인에서 연산을 수행하면 일반 모델과 의사결정 모델의 차이가 전체 프로젝트 예산이 됩니다.
Where they fail is the part everyone discovers too late: decision models are narrow by construction. 문서를 요약하고, 답변을 작성하고, 상충되는 두 가지 맥락에 대해 추론하도록 요청하면 자신있게 작고 잘못된 내용을 얻게 됩니다. 그들은 또한 훈련에 있는 모든 편견을 물려받습니다. 과거 결정에 대해 훈련된 분류자는 패턴을 알아차릴 능력 없이 잘못된 결정을 포함한 과거 결정을 재현합니다.
The architecture that works is layered, and this is the genuinely useful part. 분류, 경로 지정, 점수 매기기 등 일상적인 트래픽을 필터링하고 불확실한 사례만 큰 모델로 확대되도록 의사 결정 모델을 앞에 배치합니다. 대부분의 볼륨에는 값비싼 계층이 필요하지 않으며 값비싼 계층은 사람이 실제로 기다리고 있는 경우에 예산을 지출하게 됩니다.
제가 계속해서 언급하는 정신 모델은 산문이 필요할 때 산문을 작성하는 모델을 사용하고, 레이블이 필요할 때 레이블을 반환하는 모델을 사용하는 것입니다. 사람들은 자신이 알고 있는 프론티어 모델을 기본적으로 선택하고, 버릴 문단에 대해서는 조용히 비용을 지불합니다. 물어볼 가치가 있는 질문은 모델이 얼마나 똑똑한지가 아니라 대답이 어떤 모양이어야 하는지입니다.
자주 묻는 질문:
Q: AI 의사결정 모델이란 무엇입니까?
A: 텍스트를 생성하는 대신 단일 패스로 하나의 입력된 답변(레이블, 점수, 라우팅 선택)을 반환하도록 구축된 작은 모델입니다. 이는 일반적으로 일반 보조원의 크기와 비용에 비해 매우 작기 때문에 대량 자동화를 저렴하게 수행할 수 있습니다.
Q: 언제 ChatGPT나 Claude 대신 의사결정 모델을 사용해야 합니까?
A: 작업이 위장 분류(스팸 필터링, 티켓 분류, 라우팅, 승인 또는 에스컬레이션, 중복 제거)인 경우 대답은 레이블입니다. 산문, 맥락에 따른 추론 또는 사람이 읽을 수 있는 모든 것이 필요할 때 일반 모델을 사용하세요.
Q: Do decision models replace big models?
A: 파이프라인 중간이 아닌 앞쪽에서 대형 모델을 교체합니다. 작동하는 패턴은 저렴한 분류를 먼저 하고, 비싼 세대를 두 번째로 사용하는 것입니다. 이는 적은 비용으로 대부분의 볼륨을 처리하는 방법입니다.