Testez chaque outil d'IA sur une tâche ennuyeuse avant de lui confier une tâche importante
Les démos sont des tâches conçues. Ma méthode d'évaluation compare chaque nouvel outil au travail le plus ennuyeux de ma semaine, et les résultats sont étonnamment prédictifs.
Chaque démo d’outil d’IA est un cas idéal sous les projecteurs. Ma méthode d'évaluation va dans l'autre sens : je donne à chaque nouvel outil la tâche la plus ennuyeuse de ma semaine réelle avant de le laisser s'approcher de tout ce qui compte. La tâche ennuyeuse est celle où le marketing s'estompe.
La tâche ennuyeuse a des propriétés que la démo n'a pas : des entrées peu claires, pas de fanfare de succès, une véritable date limite de « à chaque fois » et l'obligation de travailler un mardi après-midi lorsque je suis fatigué. Les outils de transcription obtiennent mon audio de pire qualité, l'appel enregistré à côté d'une fenêtre ouverte. Les outils d'écriture reçoivent ma mission la moins glamour, l'e-mail de mise à jour que personne ne veut écrire.
Ce que mesure le test ennuyeux, c'est la fiabilité, et la fiabilité est la seule caractéristique qui compose. Un outil brillant pour la tâche de démonstration et instable pour les tâches banales vous coûtera plus cher qu'il n'en économise, car vous ne construirez rien sur la fragilité. L'outil qui est banal et qui fonctionne toujours devient une infrastructure.
Le test expose également les frictions d’intégration que cachent les démos. La démo a des entrées propres préchargées ; mon mardi a un fichier dans un format que l'outil prend à moitié en charge et un flux de travail qui nécessite d'abord une exportation depuis quelque part. Dix minutes de friction par utilisation sont une condamnation à mort pour les outils quotidiens et invisibles lors d'un essai de cinq minutes.
Mon score est une question après une semaine de test ennuyeux : est-ce que je l'ai atteint sans me rappeler qu'il existait ? C'est tout. Les outils qui réussissent sont promus au rang de travail réel. Les outils qui ont besoin de mon enthousiasme pour fonctionner ont échoué discrètement, et il est préférable de l'apprendre sur l'e-mail de mise à jour plutôt que sur le livrable client.