2026年10月1日
6 分钟阅读
Opinion
你应该忽略的基准
排行榜决定人们选择哪种模型,但几乎没有一个测试你实际做的事情。模型在数学上名列前茅,并在你凌乱的文档上折叠起来。
排行榜决定人们选择哪种模型,但几乎没有一个测试你实际做的事情。模型在数学上名列前茅,并在你凌乱的真实文档上折叠。
我学会了忽略标题分数并测试自己的任务,真实的简报,真实的成绩单,真实的错误。赢得基准测试的模型经常输掉我的星期二。
供应商自然会针对基准进行优化,因此数字会随着使用而变化。唯一诚实的测试是您将重复的工作,在其上运行,并根据它而不是由董事会进行选择。
您应该忽略的基准是您没有设计的基准。根据您实际的一周进行三项任务测试,“最佳模型”桂冠的移动速度比营销所承认的要多。