J'ai arrêté de faire confiance aux benchmarks d'IA après une mauvaise semaine

Pendant un certain temps, j'ai choisi des modèles en fonction du classement, puis un modèle qui se classait en tête de trois classements m'a écrit un paragraphe erroné sur une règle fiscale. Le benchmark a dit que c'était intelligent. Le paragraphe indiquait qu'il n'avait aucune idée de ce dont il parlait.

Les repères mesurent une tranche de travail étroite et propre. Les tâches réelles sont compliquées, sous-spécifiées et remplies du contexte que le test n'incluait pas. Un modèle qui réussit un test de raisonnement peut toujours inventer une citation sur votre question spécifique.

Ce à quoi je fais confiance maintenant, c'est le numéro qui provient de ma propre utilisation : à quelle fréquence dois-je revérifier sa sortie avant d'y inscrire mon nom. C'est une référence que vous construisez en faisant le travail, et non en lisant un graphique publié par quelqu'un.

Les laboratoires le savent. C'est pourquoi ils proposent des modèles d'effort de réflexion et de routage ajustables : ils admettent que le score moyen cache la partie qui compte, à savoir si cela correspond à votre travail.

Lisez les points de repère pour connaître la tendance, pas le verdict. Ensuite, lancez votre propre test de trente exemples sur ce que vous faites réellement, et laissez ce chiffre être le chiffre dont vous vous souvenez.