Teste todas as ferramentas de IA em uma tarefa chata antes de confiar nela em uma tarefa importante

Cada demonstração de ferramenta de IA é o melhor caso em destaque. Meu método de avaliação vai na direção oposta: dou a cada nova ferramenta a tarefa mais chata da minha semana antes de deixá-la chegar perto de qualquer coisa que importe. A tarefa chata é onde o marketing desaparece.

A tarefa chata tem propriedades que a demonstração não tem: entradas pouco claras, nenhuma fanfarra de sucesso, um prazo real de 'quando' e a exigência de trabalhar em uma tarde de terça-feira, quando estiver cansado. As ferramentas de transcrição obtêm meu áudio de pior qualidade, a chamada gravada ao lado de uma janela aberta. As ferramentas de escrita recebem minha tarefa menos glamorosa, o e-mail de atualização que ninguém quer escrever.

O que o teste enfadonho mede é a confiabilidade, e a confiabilidade é a única característica que aumenta. Uma ferramenta que é brilhante na tarefa de demonstração e instável na mundana custará mais do que economiza, porque você não construirá nada em cima da instabilidade. A ferramenta que não tem nada de especial e sempre funciona vira infraestrutura.

O teste também expõe o atrito de integração que as demonstrações escondem. A demonstração possui entradas limpas pré-carregadas; my Tuesday tem um arquivo em um formato que a ferramenta suporta parcialmente e um fluxo de trabalho que requer a exportação de algum lugar primeiro. Dez minutos de atrito por uso é uma sentença de morte para ferramentas diárias e invisível em um teste de cinco minutos.

Minha pontuação é uma pergunta depois de uma semana de teste enfadonho: será que fui buscá-lo sem lembrar que ele existia? É isso. As ferramentas aprovadas são promovidas para trabalho real. Ferramentas que precisam do meu entusiasmo para funcionar falharam silenciosamente, e é melhor aprender isso no e-mail de atualização do que na entrega do cliente.