人工智能图像模型的基准测试比人们承认的更糟糕

每个月都会有一个新的图像基准选出获胜者，而每个月获胜者都在该基准上表现得令人怀疑。这并非巧合，而是巧合。模型已针对测试进行了调整。

发布的指标——保真度分数、偏好率——很少能满足我的需求：图像上的文本是否渲染、手是否有五个手指、是否与我的品牌相匹配。这些很难得分，所以他们会被忽视。

更糟糕的是，人类的偏好面板倾向于“看起来令人印象深刻”而不是“做的工作”。华丽的渲染会在投票中击败正确的渲染，排行榜会跟随投票而变化。

我现在在自己的三任务清单上测试图像模型，而不是阅读黑板。它速度较慢，但​​它告诉我实际要运送什么。