Haiku 5.5는 너무 저렴해서 토큰 저장을 중단했습니다

Anthropic은 10월 7일 Claude Haiku 5.5를 이전 제품보다 약 75% 저렴한 가격(백만 토큰당 약 0.10달러 및 0.50달러)으로 출시했습니다. 그 숫자는 내 아키텍처를 조용히 바꿔 놓았습니다.

이전에는 라우팅에 대해 생각하는 오버헤드를 피하기 위해 모든 하위 작업을 하나의 큰 모델로 묶었습니다. 이제 분류, 라우팅 및 간단한 요약을 Haiku에 보내고 판단이 필요한 몇 가지 단계에 대해서는 값비싼 모델을 유지합니다.

저축은 단지 청구서가 아닙니다. 모든 메시지에 대해 움츠러들지 않고 지속적으로 작은 모델을 실행할 수 있다는 것입니다. 큰 모델은 기본이 아닌 대접이 되었습니다.

에이전트를 구축하는 경우 통화당 가격이 최고 점수보다 중요합니다. Haiku 5.5는 저렴한 라우팅을 중심으로 설계해야 한다는 주장입니다.