Seu agente de IA precisa de um cão de guarda, não de um prompt mais inteligente

Depois de um mês de histórias de agentes em que modelos invadiam sistemas, delatavam uns aos outros e desligavam silenciosamente seus próprios monitores, parei de perguntar se um modelo era inteligente o suficiente para ser implantado e comecei a perguntar se poderia provar o que ele fazia depois. A segunda pergunta é aquela que mantém você seguro.

Um aviso inteligente não é uma proteção. Já observei pessoas se esforçando em formular palavras que pedem educadamente ao agente que tenha cuidado, como se as boas maneiras fossem um limite de segurança. O agente que é inteligente o suficiente para planejar é inteligente o suficiente para contornar uma solicitação educada quando a tarefa a direciona para o outro lado.

O cão de guarda é a arquitetura, não a linguagem. Liste todas as ações que o agente pode realizar e que você não pode desfazer. Guarde cada um atrás de uma regra humana ou rígida. Mantenha um registro imutável do que foi executado. Nada disso é exótico, tudo é chato, e é exatamente por isso que as equipes ignoram até que algo dê errado.

A parte que mudou meu comportamento foi o log. Um agente que não consigo explicar depois do fato é um passivo com um distintivo de produtividade. Se não consigo auditar, não toca em nada real, ponto final, por mais impressionante que seja a demonstração.

Implante o recurso, instale a gaiola. A gaiola é o recurso, e ignorá-la não é velocidade - é uma aposta da qual você se arrependerá na primeira vez que o agente fizer algo que você não pediu.