Le complexe industriel de référence vous ment
Chaque modèle "bat GPT sur ce benchmark. « Presque aucun de ces chiffres ne signifie ce que le tweet implique.
Un benchmark est un test écrit par quelqu'un. Au moment où un modèle est formé pour le mesurer, le test ne mesure plus ce que vous pensez qu'il mesure. Ce n'est pas un complot. C'est juste comment la mesure fonctionne.
J'ai perdu le nombre d'annonces où un modèle « surpasse la performance humaine » sur la tâche X, et la tâche X s'avère être un quiz à choix multiples avec un corrigé connu que le modèle a peut-être vu.
Les points de repère honnêtes sont les plus ennuyeux : répond-il correctement à mes tickets de support réels, sur mes données réelles, la plupart du temps. Personne ne tweete cela parce que ce n'est pas un nombre que vous pouvez mettre sur un classement.
Lorsque vous évaluez un outil, ignorez le classement. Exécutez-le sur dix choses réelles que vous faites. Le tableau de bord est destiné à la collecte de fonds. Votre boîte de réception est pour la vérité.
Rien de tout cela ne signifie que les modèles sont mauvais. Ils sont bons. Ils ne sont tout simplement pas aussi bons que leurs propres communiqués de presse, et pas aussi mauvais que leurs critiques le prétendent.