悪い一週間を経て AI ベンチマークを信頼するのをやめた

しばらくの間、私はリーダーボードに基づいてモデルを選びましたが、その後、3 つのチャートでトップになったモデルが、税ルールについて自信を持って間違った文章を私に書いてきました。ベンチマークはそれが賢明であると言いました。その段落では、何のことを言っているのか分からないと書かれていた。

ベンチマークは、作業の狭くてきれいな部分を測定します。実際のタスクは乱雑で、仕様が不十分で、テストに含まれていないコンテキストが満載です。推論ベンチマークに合格したモデルでも、特定の質問についての引用を発明することができます。

私が今信頼しているのは、自分自身の使用から得られた数字です。つまり、自分の名前を書き込む前に、その出力をどのくらいの頻度で再チェックする必要があるかということです。これは、誰かが公開したチャートを読むことでではなく、実際の作業によって構築するベンチマークです。

研究室はそれを知っています。だからこそ、彼らは調整可能な思考努力とルーティングモデルを出荷しているのです。彼らは、平均スコアが重要な部分、つまりそれが自分の仕事に適しているかどうかという部分を隠していることを認めています。

判定ではなく、傾向のベンチマークを読んでください。次に、実際に行うことについて 30 個の例をテストし、その数字を覚えておきます。