À quoi ressemble une bonne sortie d’IA (c’est rarement ce à quoi vous vous attendez)
Après deux ans de lecture de brouillons d’IA, les indicateurs de qualité ne sont ni la finition ni la grammaire. Ce sont trois choses plus calmes.
Lorsque les gens évaluent les résultats de l’IA, ils évaluent la qualité : grammaire, flux, structure. Le polonais est un enjeu de table et presque dénué de sens. Après deux ans de travail quotidien avec du texte généré, j'évalue sur trois signaux plus faibles, et ils prédisent bien mieux l'utilité.
Le premier est une spécificité qui n’aurait pas pu être générée sans ma contribution. Si un brouillon contient un détail qui remonte à quelque chose que je lui ai dit, le modèle travaille avec moi. Si chaque phrase pouvait apparaître dans n’importe quel document sur le sujet, je lis la moyenne d’Internet, et la moyenne d’Internet ne vaut rien par définition.
La seconde est la gestion de ce qu’elle ne connaît pas. Un bon résultat marque son incertitude : « Je ne suis pas sûr du calendrier ici » ou d'un écart explicite. Une sortie confiante qui remplit chaque trou est pire qu’une sortie honnête avec des trous visibles, car les trous que je peux combler et les erreurs confiantes que je dois chasser. Ce signal apparaît dans le premier paragraphe, ce qui en fait un test rapide.
Le troisième est la résistance. Les meilleures sorties que j'ai reçues ont polémique avec moi : repoussées sur mon cadrage, signalées que ma structure enfouissait le point. La flagornerie est agréable et ne produit rien. Un brouillon qui n'est pas d'accord a déjà fait la réflexion que j'essayais d'éviter.
Ce que je ne note plus : la grammaire (réparable de manière triviale), la longueur (une coupe) et le ton (une instruction). Les gens rejettent les brouillons pour des raisons superficielles et acceptent les brouillons creux en toute confiance. Inversez cette attention et votre taux de réussite avec les mêmes outils double à peu près.