经过糟糕的一周后,我不再信任人工智能基准
有一段时间,我根据排行榜选择模型,然后一个在三个图表中名列前茅的模型给我写了一段关于税收的错误段落
有一段时间,我根据排行榜选择模型,然后一个在三个图表中名列前茅的模型给我写了一段关于税收规则的自信错误的段落。该基准测试表示它很聪明。该段落表示不知道自己在说什么。
基准衡量的是一个狭窄的、干净的工作部分。真实的任务是混乱的、不明确的,并且充满了测试未包含的上下文。达到推理基准的模型仍然可以针对您的特定问题发明引文。
我现在信任的是来自我自己使用的数字:在我把我的名字写在上面之前,我必须多久重新检查一次它的输出。这是你通过工作建立的基准,而不是通过阅读某人发布的图表。
实验室知道这一点。这就是为什么他们提供可调整的思维努力和路由模型:他们承认平均分数隐藏了重要的部分,即它是否适合你的工作。
阅读趋势基准,而不是结论。然后对你实际做的事情运行你自己的三十个例子测试,并让它成为你记住的数字。
