벤치마크는 작업 흐름을 예측하지 않습니다(따라서 점수판으로 도구를 선택하지 마세요).

몇 주마다 새로운 모델이 벤치마크 상위에 오르고 출시 스레드에서는 모든 것이 변경되었음을 선언하며 수천 명의 사람들이 밤새 도구를 전환하여 점수판을 쫓습니다. 나는 1년 동안 이 일을 하다가 당황스러운 점을 발견했습니다. 내 작업 결과는 내가 사용한 도구의 순위표 위치와 아무런 상관관계가 없었습니다. 벤치마크 성능과 워크플로 성능 간의 차이는 반올림 오류가 아닙니다. 이는 구조적이며 도구 선택 방법이 변경되는 이유를 이해합니다.

첫 번째 구조적 이유: 벤치마크 테스트 작업, 워크플로가 있습니다. 벤치마크 질문은 검증 가능한 답변을 포함하며 맥락 없이 새로운 모델에 의해 수행됩니다. 귀하의 작업은 귀하의 역사, 관습, 제약 사항으로 포장되어 프로젝트 중간에 도착하며 귀하의 결과물은 이번 달에 만든 다른 모든 것과 통합되어야 합니다. 어제의 결정을 기억하지 못하는 일회성 천재는 파이프라인에 맞는 약간 덜 뛰어난 모델보다 덜 유용하며 벤치마크에서는 파이프라인을 볼 수 없습니다.

두 번째: 벤치마크는 평균이지만 귀하의 작업은 평균이 아닙니다. 점수판은 수천 개의 작업에 대한 평균이며 실제 작업량은 6가지 작업 유형의 편향된 분포입니다. 평균적으로 3포인트 낮은 모델은 특정 혼합에서 훨씬 더 나을 수 있으며, 여기서 집계된 수치는 정보가 없을 뿐만 아니라 오해의 소지가 있습니다. 왜냐하면 절대 하지 않는 작업에 가격을 책정하고 하루 종일 수행하는 작업을 할인하기 때문입니다. 나는 업계가 챔피언의 새로운 점수를 축하하는 동안 순위가 낮은 모델이 내 전사 관련 작업에서 분기 동안 지속적으로 챔피언을 이기는 것을 보았습니다.

세 번째: 숫자는 기능을 측정하고 신뢰성을 경험합니다. 90%의 시간 동안 훌륭하고 나머지는 자신있게 틀린 모델이 95%의 시간 동안 좋은 모델보다 점수가 높고 불확실성을 표시할 수 있지만, 전문적인 작업의 경우 두 번째가 더 가치가 있습니다. 왜냐하면 검토 비용이 정확성에 선형적이지 않고 성공처럼 보이는 실패가 지배하기 때문입니다. 벤치마크에서는 실패 분포에 대한 가격을 책정하는 경우가 거의 없으며 실패 분포가 실제 비용입니다.

내가 착안한 대체품은 당황스러울 정도로 낮은 수준의 기술입니다. 지난 달 작업을 통해 구축한 개인 벤치마크입니다. 10~15개의 실제 작업은 입력 내용과 충족해야 하는 표준과 함께 저장되고 후보 도구에 대해 다시 실행되며 인상적이 아닌 결과 및 검토 비용에 따라 점수가 매겨집니다. 구축하는 데 오후가 걸렸으며 그 이후로 어떤 리더보드도 하지 않았던 방식으로 모든 도구 선택에 대한 만족도를 정확하게 예측했습니다. 공개 벤치마크는 경계를 추적하고 전혀 알지 못하는 모델 중에서 선택하는 데 여전히 중요합니다. 하지만 일상 업무에 영향을 미치는 도구의 경우 무엇이든 예측할 수 있는 유일한 점수판은 바로 여러분의 점수판이며, 그것을 만들 수 있는 사람은 여러분뿐입니다.