ベンチマークはワークフローを予測しません (スコアボードに基づいてツールを選択するのはやめてください)
リーダーボードには、1 つのモデルが最高であると記載されています。実際のタスクは一致しません。ベンチマーク デルタがツールの決定において最も関連性の低い数値である理由と、代わりに何を測定する必要があるか。
数週間ごとに新しいモデルがベンチマークを上回り、発売スレッドはすべてが変わったと宣言し、何千人もの人々がスコアボードを追いかけるために一晩中ツールを切り替えます。私はこれを 1 年間自分で行いましたが、その後、恥ずかしいことに気づきました。私の仕事の成果は、使用したツールのリーダーボードの位置と相関関係がありませんでした。ベンチマークのパフォーマンスとワークフローのパフォーマンスの差は、丸め誤差ではありません。これは構造的なものであり、その理由を理解するとツールの選び方が変わります。
最初の構造的な理由: ベンチマーク テスト タスクにはワークフローがあります。ベンチマークの質問は自己完結型であり、検証可能な回答があり、コンテキストのない新しいモデルによって実行されます。あなたの作品は、あなたの歴史、慣例、制約に包まれた状態でプロジェクトの途中に到着します。そして、あなたの成果物は、今月あなたが作った他のすべてのものと統合する必要があります。昨日の決定を思い出せないシングルターンの天才は、パイプラインに適合するわずかに優れていないモデルほど役に立たず、ベンチマークはパイプラインを認識できません。
2 つ目: ベンチマークは平均的ですが、あなたの仕事はそうではありません。スコアボードは数千のタスクの平均値であり、実際のワークロードはおそらく 6 種類のタスクに偏って分布しています。平均で 3 ポイント低いモデルは、特定の組み合わせでは劇的に優れている可能性があります。集計された数値は、ここでは有益ではないだけでなく、誤解を招きます。なぜなら、これは、絶対に行わないタスクに価格を設定し、一日中行うタスクを割り引くからです。業界がチャンピオンの新しいスコアを祝っている間、私は下位ランクのモデルが転写に隣接したタスクで一貫してチャンピオンを破るのを四半期の間見ていました。
3 番目: 数値は能力を測り、信頼性を体験します。 90% の確率で素晴らしく、残りのモデルは自信を持って間違っているモデルは、95% の確率で良くて不確実性のフラグを立てているモデルを上回る可能性がありますが、プロの仕事では 2 番目のモデルの方が価値があります。レビューのコストは正確さにおいて直線的ではなく、成功に見える失敗が大半を占めるからです。ベンチマークで障害の分布に価格が設定されることはほとんどなく、障害の分布が実際のコストとなります。
私がたどり着いた代替品は、恥ずかしいほどローテクで、私自身の先月の仕事から構築された個人的なベンチマークです。 10 ～ 15 個の実際のタスクは、入力内容と満たさなければならない基準とともに保存され、候補となるツールに対して再実行され、印象度ではなく結果とレビューのコストでスコア付けされます。構築には午後 1 日かかりますが、それ以来、どのツールを選択しても私の満足度が正確に予測されました。これは、これまでのリーダーボードでは実現できなかった方法です。公開ベンチマークは、フロンティアを追跡したり、何も知らないモデルの中から選択したりするために、依然として重要です。しかし、日常業務に関わるツールに関しては、何かを予測する唯一のスコアボードはあなた自身のものであり、それを構築できるのはあなただけです。