無視すべきベンチマーク

リーダーボードは人々がどのモデルを選ぶかを決定しますが、実際に何をするかをテストするものはほとんどありません。モデルは数学ではチャートのトップにあり、乱雑な実際の文書では折り畳まれます。

私は見出しのスコアを無視して、自分のタスク、本当の概要、本当のトランスクリプト、本当のバグをテストすることを学びました。ベンチマークで勝ったモデルが私の火曜日に負けることがよくありました。

ベンダーはベンチマークに合わせて最適化しているため、当然のことながら、使用によって数値が変動します。唯一の正直なテストは、ボードではなく、両方を実行して、それによって選択する作業を繰り返すことです。

無視すべきベンチマークは、自分が設計したものではありません。実際の週から 3 つのタスクのテストを作成すると、「最高のモデル」の王冠がマーケティングが認めている以上に大きく動きます。