나쁜 한 주를 보낸 후 AI 벤치마크를 더 이상 신뢰하지 않게 되었습니다.

한동안 나는 리더보드에서 모델을 골랐는데, 그 후 세 개의 차트에서 1위를 차지한 모델이 나에게 세금 규정에 대해 자신 있게 잘못된 문단을 썼습니다. 벤치마크에서는 똑똑하다고 말했습니다. 해당 단락에서는 그것이 무슨 말을 하는지 전혀 모른다고 말했습니다.

벤치마크는 좁고 깨끗한 작업 조각을 측정합니다. 실제 작업은 지저분하고, 지정되지 않았으며, 테스트에 포함되지 않은 컨텍스트로 가득 차 있습니다. 추론 벤치마크를 능가하는 모델은 여전히 특정 질문에 대한 인용을 만들어낼 수 있습니다.

지금 내가 신뢰하는 것은 내 자신의 사용에서 나온 숫자입니다. 내 이름을 넣기 전에 출력을 얼마나 자주 다시 확인해야 합니까? 이는 누군가가 게시한 차트를 읽어서가 아니라 작업을 수행하여 구축한 벤치마크입니다.

연구실에서는 이를 알고 있습니다. 이것이 그들이 조정 가능한 사고 노력과 라우팅 모델을 제공하는 이유입니다. 그들은 평균 점수가 중요한 부분, 즉 그것이 귀하의 업무에 적합한지 여부를 숨긴다는 것을 인정하고 있습니다.

평결이 아니라 추세에 대한 벤치마크를 읽어보세요. 그런 다음 실제로 수행하는 작업에 대해 30개의 예제 테스트를 실행하고 그 숫자가 기억나는 대로 두십시오.