O conhecimento do domínio supera os truques imediatos: uma experiência desconfortável

Fiz um experimento desconfortável no último trimestre: um amigo que coleta técnicas imediatas e um colega que simplesmente conhece profundamente nosso domínio receberam as mesmas ferramentas de IA e o mesmo problema. O coletor de prompts produziu prompts mais elegantes. O especialista do domínio produziu a resposta útil. A lacuna entre esses dois fatos reorganizou a forma como penso sobre as habilidades de IA.

O mecanismo ficou visível nas saídas. Os prompts elegantes eram genericamente bem estruturados: função, contexto, restrições, formato. O que não puderam conter foi o conhecimento de quais restrições realmente importam em nosso domínio, quais modos de falha são comuns e qual parte da resposta “correta” está realmente errada na prática. As instruções confusas do especialista em domínio continham tudo isso.

Isso explica um padrão que continuei observando: especialistas com hábitos casuais de IA superando entusiastas com sistemas elaborados. Nunca foi sobre a inspiração. A sugestão de quatro frases do especialista contém vinte anos de especificações implícitas, e a especificação sempre foi a parte difícil. A técnica imediata otimiza os 20% fáceis.

A implicação desconfortável para a indústria da engenharia imediata: a maior parte dela consiste em ensinar as pessoas a otimizar a peça que nunca foi o gargalo. Existem técnicas reais (saídas estruturadas, exemplos de poucas tentativas, disciplina de iteração), mas elas são os últimos 10% e são inúteis sem o conhecimento do domínio que lhe diz o que pedir.

Minha própria prática mudou de acordo: parei de caçar truques de prompt e comecei a escrever notas de domínio, os documentos “o que importa e o que geralmente dá errado” que alimentam meus prompts. Os prompts ficaram mais curtos e os resultados melhores, que é o resultado do experimento em uma frase: o conhecimento foi o prompt o tempo todo.