벤치마크 산업단지가 당신을 속이고 있습니다

벤치마크는 누군가가 작성한 테스트입니다. 모델이 최고의 성능을 발휘하도록 훈련되는 순간, 테스트는 더 이상 측정한다고 생각하는 것을 측정하지 않습니다. 이것은 음모가 아닙니다. 측정이 작동하는 방식입니다.

모델이 작업 X에서 "인간의 성능을 능가"하고 작업 X가 모델이 봤을 수도 있는 알려진 답안이 포함된 객관식 퀴즈인 것으로 밝혀진 발표 횟수를 잊어버렸습니다.

정직한 벤치마크는 지루한 것입니다. 대부분의 경우 실제 데이터를 기준으로 실제 지원 티켓에 올바르게 응답합니까? 순위표에 올릴 수 있는 숫자가 아니기 때문에 아무도 트윗하지 않습니다.

도구를 평가할 때 순위표를 무시하세요. 당신이 실제로 하는 10가지 일에 대해 실행해 보세요. 점수판은 모금 활동을 위한 것입니다. 귀하의 받은 편지함은 진실을 위한 것입니다.

이것이 모델이 나쁘다는 의미는 아닙니다. 그들은 좋다. 그들은 자신들의 보도 자료만큼 좋지도 않고, 비평가들이 주장하는 것만큼 나쁘지도 않습니다.