Meu agente reservou o voo errado, com confiança. O recibo é uma lição de delegação
Forneci a um agente de IA minhas preferências de viagem e um orçamento e deixei-o reservar. Ele seguiu todas as regras perfeitamente e ainda assim errou de uma forma que nenhuma regra cobria.
A configuração pareceu cuidadosa. Escrevi minhas preferências como um documento de política: assento na janela, sem olhos vermelhos, preferência sem escalas menos de três horas, limite de orçamento por viagem, programa de fidelidade acima de tudo. Dei ao agente acesso a um cartão de viagem dedicado com limite baixo. Então deixei-o marcar minha viagem para outubro enquanto assistia a outra coisa. Todas as regras foram seguidas. A viagem ainda estava errada.
O que reservou: um assento direto na janela, abaixo do orçamento, na minha companhia aérea preferida. Além disso: um dia de partida, um dia antes do evento, sobre o qual contei em uma conversa separada - porque mencionei 'dia 14' em um tópico e 'a conferência' em outro, e o agente resolveu o conflito da mesma forma que um temporário de mente literal faria. O vôo foi perfeito para uma viagem que eu não estava mais fazendo.
Aqui está o que me incomodou, e não é o erro. Quando eu mesmo cometi esse erro, surge um momento de dúvida – algo parece errado quando clico em comprar. O agente não sentiu tal atrito. Ele executou a resolução de uma instrução ambígua com a mesma confiança que as inequívocas. A confiança não é um sinal de correção; é uma escolha de renderização.
A solução não foram regras mais inteligentes. Tentei escrever mais regras e consegui um documento que o agente seguiu de forma ainda mais literal em novos cantos. O que funcionou foi um ponto de verificação: o agente agora elabora, eu aprovo e depois registra. Um clique de julgamento humano no ponto sem volta. O sonho da automação total morre no mesmo lugar em que morre a maior parte do design de processos: na transferência.
Eu ainda uso o agente. Ele economiza tempo real em 90% das reservas de viagens que são genuinamente mecânicas. Mas parei de perguntar se os agentes são bons o suficiente para confiar e comecei a perguntar quais decisões merecem um ponto de verificação. A resposta para voos, aparentemente, é uma só. A resposta para o seu caso de uso provavelmente também é uma.