ベンチマーク工業団地は嘘をついている

ベンチマークは誰かが書いたテストです。モデルが合格するようにトレーニングされた瞬間、テストでは、ユーザーが測定していると考えているものは測定されなくなります。これは陰謀ではありません。それが測定の仕組みです。

モデルがタスク X で「人間のパフォーマンスを超えている」という発表は数え切れませんでしたが、タスク X は、モデルが見た可能性のある既知の解答キーを備えた多肢選択クイズであることが判明しました。

正直なベンチマークは退屈なベンチマークです。ほとんどの場合、実際のデータに基づいて、実際のサポート チケットに正しく答えてくれるかどうかです。リーダーボードに載せられるような数字ではないので、誰もそんなことはツイートしません。

ツールを評価するときは、リーダーボードを無視してください。あなたが実際に行っている10のことについて実行してください。スコアボードは募金活動用です。あなたの受信箱は真実です。

これは、モデルが悪いということを意味するものではありません。彼らは良いです。彼らは自社のプレスリリースほど良くないし、批評家が主張するほど悪くもない。