내가 실제로 의지하는 가장 저렴한 모델

나는 프론티어 가격만큼 가치가 있다고 생각되는 작업에 대한 모델 호출을 예약하곤 했습니다. 백만 입력당 0.10달러로 Haiku 5.5는 해당 임계값을 제거했습니다. 이제 일회용 분류, 스팸 분류, '이 중 중복된 항목' 확인은 모두 비용이 반올림 오류이므로 모델 호출을 받습니다.

비용 절감보다 행동 변화가 더 중요했습니다. 추론이 거의 무료가 되면 저장을 중단하고 '호출할 가치가 없다'는 이유로 건너뛰었던 작은 자동화가 존재하기 시작합니다. 그것이 실제 시간이 가는 곳입니다.

나는 여전히 부하를 견디는 추론으로 그것을 신뢰하지 않습니다. 노력 다이얼은 도움이 되지만 $10,000 결정을 내리는 $0.10 모델은 잘못된 경제입니다. 나는 그것을 지루한 80%에 사용하고 이상한 20%를 더 큰 것으로 확대합니다.

교훈은 '싼 것이 최고'가 아니다. 가격이 당신이 만드는 것의 모양을 바꾸는 것입니다. 이 속도에서는 작은 에이전트 전체가 실행할 가치가 있게 되며 프론티어 모델은 이를 획득하는 순간을 위해 예약됩니다.