La connaissance du domaine bat les astuces rapides : une expérience inconfortable

J'ai mené une expérience inconfortable le trimestre dernier : un ami qui collecte des techniques rapides et un collègue qui connaît simplement profondément notre domaine ont reçu les mêmes outils d'IA et le même problème. Le collecteur d'invites produisait des invites plus élégantes. L'expert du domaine a produit la réponse utile. L’écart entre ces deux faits a réorganisé ma façon de penser les compétences en IA.

Le mécanisme était visible dans les sorties. Les invites élégantes étaient génériquement bien structurées : rôle, contexte, contraintes, format. Ce qu'ils ne pouvaient pas contenir, c'était la connaissance des contraintes réellement importantes dans notre domaine, des modes de défaillance courants et de la partie de la « bonne » réponse qui est réellement fausse dans la pratique. Les invites désordonnées de l'expert du domaine contenaient tout cela.

Cela explique un schéma que je n'arrêtais pas de constater dans la nature : les experts ayant des habitudes occasionnelles en matière d'IA surpassaient les passionnés dotés de systèmes élaborés. Il n’a jamais été question d’incitation. L'invite de quatre phrases de l'expert contient vingt ans de spécifications implicites, et la spécification a toujours été la partie la plus difficile. La technique rapide optimise les 20 pour cent faciles.

L'implication inconfortable pour l'industrie de l'ingénierie rapide : l'essentiel est d'apprendre aux gens à optimiser la pièce qui n'a jamais été un goulot d'étranglement. Il existe de vraies techniques (résultats structurés, quelques exemples, discipline d'itération), mais elles ne représentent que les 10 derniers pour cent et elles ne valent rien sans la connaissance du domaine qui vous indique quoi demander.

Ma propre pratique a changé en conséquence : j'ai arrêté de chercher des astuces et j'ai commencé à rédiger des notes de domaine, les documents « ce qui compte et ce qui ne va généralement pas » qui alimentent mes invites. Les invites sont devenues plus courtes et les résultats se sont améliorés, ce qui est le résultat de l'expérience en une phrase : la connaissance a toujours été l'invite.