Les benchmarks ne prédiront pas votre flux de travail (alors arrêtez de choisir les outils par tableau de bord)
Le classement indique qu'un modèle est le meilleur. Vos tâches réelles ne sont pas d'accord. Pourquoi les deltas de référence sont le nombre le moins pertinent dans vos décisions en matière d'outils et que mesurer à la place.
Toutes les quelques semaines, un nouveau modèle arrive en tête des références, le fil de lancement déclare que tout a changé et des milliers de personnes changent d'outil du jour au lendemain pour suivre un tableau de bord. Je l'ai fait moi-même pendant un an, puis j'ai remarqué quelque chose d'embarrassant : les résultats de mon travail n'avaient aucune corrélation avec la position dans le classement des outils que j'utilisais. L'écart entre les performances du benchmark et les performances du workflow n'est pas une erreur d'arrondi. C’est structurel et comprendre pourquoi change la façon dont vous devez choisir les outils.
Première raison structurelle : benchmarks des tâches de test, vous avez des workflows. Une question de référence est autonome, avec une réponse vérifiable, réalisée par un nouveau modèle sans contexte. Votre travail arrive à mi-projet, enveloppé dans votre historique, vos conventions, vos contraintes, et votre résultat doit s'intégrer à tout ce que vous avez réalisé ce mois-ci. Le génie à un seul tour qui ne se souvient pas de la décision d'hier vous est moins utile que le modèle légèrement moins brillant qui s'intègre dans votre pipeline, et les benchmarks ne peuvent pas voir les pipelines.
La seconde : les repères sont moyens, votre travail ne l'est pas. Le tableau de bord est une moyenne couvrant des milliers de tâches, et votre charge de travail réelle est une répartition asymétrique de peut-être six types de tâches. Un modèle inférieur de trois points en moyenne peut être considérablement meilleur pour votre mix spécifique, et le chiffre global n'est pas seulement peu informatif ici, il est trompeur, car il évalue les tâches que vous n'effectuez jamais et réduit celles que vous effectuez toute la journée. J'ai vu un modèle de rang inférieur battre le champion de manière constante sur mes tâches adjacentes à la transcription pendant un trimestre tandis que l'industrie célébrait le nouveau score du champion.
Troisièmement : les chiffres mesurent la capacité, vous faites l'expérience de la fiabilité. Un modèle qui est brillant quatre-vingt-dix pour cent du temps et qui est faux le reste peut surpasser un modèle qui est bon quatre-vingt-quinze pour cent du temps et signale son incertitude, mais pour un travail professionnel, le second vaut plus, car votre coût de révision n'est pas linéaire en termes d'exactitude, il est dominé par les échecs qui ressemblent à des succès. Les benchmarks évaluent rarement la répartition des échecs, et la répartition des échecs constitue votre coût réel.
Le remplaçant sur lequel j'ai atterri est d'une technologie embarrassante : une référence personnelle, construite à partir de mon dernier mois de travail. Dix à quinze tâches réelles, enregistrées avec leurs entrées et les normes auxquelles elles devaient répondre, réexécutées avec n'importe quel outil candidat, notées sur le résultat et le coût d'évaluation, et non sur leur caractère impressionnant. La construction prend un après-midi et a correctement prédit ma satisfaction pour chaque choix d'outil depuis, d'une manière qu'aucun classement n'a jamais fait. Les références publiques comptent toujours, pour suivre la frontière et pour choisir entre des modèles dont vous ne connaissez rien. Mais pour les outils qui touchent votre travail quotidien, le seul tableau de bord qui prédit quoi que ce soit est le vôtre, et vous êtes le seul à pouvoir le construire.