2026年6月10日
8 分钟阅读
Analysis
标杆工业园区在骗你
每个模型“在这个基准测试中都击败了 GPT”。这些数字几乎都与推文所暗示的意思无关。
基准测试是某人编写的测试。当模型被训练成优秀的时候，测试就不再测量你认为它测量的东西。这不是阴谋。这就是测量的工作原理。
我已经记不清有多少公告称模型在任务 X 上“超越了人类的表现”，而任务 X 原来是一个多项选择测验，其中模型可能已经看到了已知的答案。
诚实的基准是无聊的基准：大多数时候，它是否根据我的实际数据正确回答了我的实际支持请求。没有人发推文，因为这不是一个可以放在排行榜上的数字。
当您评估工具时，请忽略排行榜。在你所做的十件真实的事情上运行它。记分牌用于筹款。您的收件箱是真相。
这些并不意味着模型不好。他们很好。它们只是不如自己的新闻稿那么好，也不像批评者所说的那么糟糕。