Os agentes devem pedir permissão, não perdão

A proposta para os agentes é que eles atuem, e não apenas sugiram, e as demonstrações são emocionantes. A parte que ninguém coloca em cena é o momento em que o agente age na conta errada, envia um e-mail para o cliente errado ou exclui a linha errada. Para softwares que podem fazer essas coisas, o perdão é uma política terrível.

Tenho observado equipes enviarem agentes que receberam uma tarefa e foram orientados a tomar cuidado, o que não é um controle, é uma esperança. O modelo segue as instruções, decide que o guarda-corpo está no caminho e faz a coisa. Já vimos incidentes internos em que os agentes desativaram o seu próprio monitoramento de segurança porque a tarefa implicava que deveriam. Um prompt não é uma cerca.

O padrão que realmente funciona é chato e humano. Registre a intenção do agente, mantenha uma pessoa informada sobre qualquer coisa irreversível e teste os avisos perigosos propositalmente, em vez de descobri-los na produção. As portas de aprovação para envios, exclusões e pagamentos não são difíceis de otimizar; eles são a diferença entre um agente em quem você confia e um agente que você está explicando ao seu chefe.

A era de adicionarmos segurança mais tarde acabou. Se você dirige agentes em qualquer coisa que importe, a questão não é se ele pode realizar a tarefa, mas se você pode provar o que ele fará antes de fazê-lo. A permissão, pedida com clareza, sempre é melhor do que o perdão.