基准无法预测您的工作流程（因此请停止通过记分板选择工具）
排行榜表明一种模型是最好的。您的实际任务不一致。为什么基准增量在您的工具决策中是最不相关的数字，以及衡量什么。
每隔几周就有一个新模型在基准测试中名列前茅，发布线程宣布一切都发生了变化，成千上万的人在一夜之间更换工具来追逐记分牌。我自己这样做了一年，然后注意到一些令人尴尬的事情：我的工作成果与我使用的工具的排行榜位置没有相关性。基准性能和工作流程性能之间的差距不是舍入误差。它是结构性的，理解为什么会改变你应该如何选择工具。
第一个结构原因：基准测试任务，你有工作流程。基准问题是独立的，具有可验证的答案，由没有上下文的新模型执行。你的工作在项目中期到达，包裹在你的历史、你的惯例、你的限制中，你的输出必须与你本月所做的所有其他事情相结合。不记得昨天的决定的单轮天才对你来说不如适合你的管道的稍微不那么聪明的模型有用，而且基准测试无法看到管道。
第二：基准测试平均，但你的工作没有。记分板是数千个任务的平均值，而您的实际工作负载可能是六种任务类型的偏态分布。平均降低三个点的模型对于您的特定组合来说可能会显着更好，而且这里的总数不仅没有提供任何信息，而且具有误导性，因为它为您从未执行过的任务定价，并为您整天执行的任务打了折扣。在一个季度内，我看到排名较低的模型在我的转录相关任务上持续击败冠军，而业界则庆祝冠军的新分数。
第三：数字衡量能力，你体验可靠性。一个在 90% 的时间里表现出色、在其余的时间里自信地错误的模型可能会比在 95% 的时间里表现良好并标记其不确定性的模型表现更好，但对于专业工作来说，第二个模型更有价值，因为你的审核成本与正确性不是线性的，它由看似成功的失败所主导。基准很少对故障分布进行定价，而故障分布才是您的实际成本。
我找到的替代品技术含量低得令人尴尬：这是一个个人基准，是根据我自己上个月的工作建立的。十到十五个真实任务，保存了他们的输入和必须满足的标准，针对任何候选工具重新运行，根据结果和审查成本评分，而不是令人印象深刻。它花了一个下午的时间来构建，它正确地预测了我对每个工具选择的满意度，这是排行榜从未做到过的。对于跟踪前沿以及在您一无所知的模型之间进行选择，公共基准仍然很重要。但对于涉及您日常工作的工具来说，唯一可以预测任何事情的记分板是您自己的，并且您是唯一可以构建它的人。