Qual é a aparência de um bom resultado de IA (raramente é o que você espera)
Depois de dois anos lendo rascunhos de IA, os indicadores de qualidade não são polidos ou gramaticais. São três coisas mais silenciosas.
Quando as pessoas avaliam os resultados da IA, elas avaliam o polimento: gramática, fluxo, estrutura. Polonês é uma aposta de mesa e quase sem sentido. Depois de dois anos trabalhando diariamente com texto gerado, avalio três sinais mais silenciosos, e eles preveem a utilidade muito melhor.
A primeira é a especificidade que não poderia ter sido gerada sem a minha contribuição. Se um rascunho contém um detalhe que remonta a algo que eu contei, o modelo está trabalhando comigo. Se cada frase pudesse aparecer em qualquer documento sobre o assunto, estou lendo a média da internet, e a média da internet não vale nada por definição.
A segunda é o manejo daquilo que não conhece. Um bom resultado marca a sua incerteza: “Não tenho a certeza sobre o calendário aqui” ou uma lacuna explícita. A produção confiável que preenche todas as lacunas é pior do que a produção honesta com lacunas visíveis, porque posso preencher as lacunas e os erros confiantes que tenho que caçar. Este sinal aparece no primeiro parágrafo, o que o torna um teste rápido.
O terceiro é a resistência. Os melhores resultados que recebi discutiram comigo: recuaram em meu enquadramento, sinalizaram que minha estrutura enterrou o ponto. A bajulação é agradável e não produz nada. Um rascunho que discorda bem já fez o pensamento que eu estava tentando evitar.
O que não avalio mais: gramática (trivialmente corrigível), extensão (um corte de distância) e tom (uma instrução). As pessoas rejeitam rascunhos por razões superficiais e aceitam rascunhos que são confiantemente vazios. Vire essa atenção e sua taxa de acerto com as mesmas ferramentas praticamente dobrará.