Sonnet 5.5는 30% 더 빠르다고 주장합니다. 받은편지함에서 뭔가 다른 것을 발견했습니다.

Sonnet 5.5는 숫자로 출시되었습니다. 출력은 30% 더 빨라졌고, 작업당 비용은 최대 30% 더 낮았습니다. Terminal-Bench는 Sonnet 5의 10.3%에 비해 70.6%였습니다. 괜찮은. 벤치마크는 청구서 비용을 지불하지 않기 때문에 의도적인 실험을 실행했습니다. 월요일 전체 작업을 두 번, 각 모델에 대해 한 번, 동일한 작업, 나만의 타이밍을 수행했습니다.

14개의 클라이언트 이메일, 프로젝트 요약 재작성, 일부 계약 물음표 단락, 요약된 설문 조사 결과 표, 주간 뉴스레터 초안 등 작업은 별로 재미가 없었습니다. Anthropic은 Sonnet 5.5가 바로 '범위가 넓은 일상 업무'를 위해 만들어졌다고 주장합니다. Sonnet 5에서는 그날의 AI 부분에 약 2시간이 걸렸습니다. 5.5일에는 약 80분 정도 소요됩니다.

그러나 흥미로운 발견은 몇 분이 지나지 않았습니다. 이전 모델의 경우 내 패턴은 일괄 대기였습니다. 여러 프롬프트를 대기열에 넣고 다른 것으로 전환한 후 다시 돌아왔습니다. 더 빠른 것을 사용하면 일괄 처리를 중단했습니다. 물어보고, 얻고, 계속해서 다시 물어보세요. 대기 시간이 주의 전환 임계값을 초과했기 때문에 워크플로 모양이 바뀌었습니다. 이는 원시 30%보다 더 가치가 있으며 속도 향상이 이상하게 복합되는 이유입니다.

내가 측정할 수 있는 곳에서 품질이 유지되었습니다. 이메일 초안에는 동일한 수의 편집이 필요했고, 개요는 더 엄격했으며, 계약서 답변에는 동일한 조항이 표시되었습니다. 터미널-벤치 점프는 에이전트 코딩에 대한 실질적인 성능 향상을 시사합니다. 이는 이메일 분류 당일에 개인적으로 확인할 수는 없지만 내 차선에서는 더 나빠진 것이 없습니다.

비용 절감은 여기서 조용한 혁명입니다. 동일한 워크로드에 대한 월 청구서가 눈에 띄게 줄었고, 하루에 수천 개의 작업을 실행하는 팀의 경우 30%가 인원 수 계산입니다. 나 혼자인 경우 구독이 분명히 가치가 있는 것과 갱신할 때 어깨를 으쓱하는 것의 차이가 있습니다. 저렴하고 빠른 것은 AI가 당신이 생각하는 광고 항목이 되는 것을 멈추는 방법입니다.