AI 画像モデルのベンチマークは人々が認める以上に壊れている

毎月、新しい画像ベンチマークによって勝者が決定され、毎月、勝者はまさにそのベンチマークにおいて疑わしいほど優れています。それは偶然ではありません。モデルはテスト用に調整されています。

公開される指標 (忠実度スコア、嗜好率) が、私が必要とするものにマッピングされることはほとんどありません。画像上のテキストはレンダリングされるか、手の指は 5 本あるか、私のブランドと一致するかなどです。これらは得点するのが厄介なので、無視されます。

さらに悪いことに、人間の好みのパネルは「仕事をする」ことよりも「見た目が印象的である」ことに偏っていきます。投票では派手なレンダリングが正しいレンダリングを上回り、リーダーボードは投票に従います。

今では、ボードを読む代わりに、独自の 3 つのタスクのチェックリストに基づいて画像モデルをテストしています。遅いですが、実際に何を発送するのかがわかります。