AI 이미지 모델 벤치마킹은 사람들이 인정하는 것보다 더 손상되었습니다.

매달 새로운 이미지 벤치마크가 승자를 결정하며, 매달 승자는 의심스러울 정도로 정확하게 해당 벤치마크를 잘 수행합니다. 그것은 우연이 아닙니다. 모델이 테스트에 맞춰 조정되었습니다.

게시되는 지표(충실도 점수, 선호도 비율)는 내가 필요한 것과 거의 매핑되지 않습니다. 즉, 이미지의 텍스트가 렌더링되는지, 손에 다섯 개의 손가락이 있는지, 내 브랜드와 일치하는지 등이 있습니다. 점수를 매기는 것이 어색해서 무시됩니다.

더 나쁜 것은 인간의 선호도 패널이 '일을 잘한다'보다는 '인상적으로 보인다' 쪽으로 표류한다는 것입니다. 화려한 렌더링이 투표에서 올바른 렌더링을 이기고 순위표가 투표를 따릅니다.

이제 나는 보드를 읽는 대신 나만의 3가지 작업 체크리스트로 이미지 모델을 테스트합니다. 속도는 느리지만 실제로 배송할 내용을 알려줍니다.