A lista de verificação do agente que realmente me deixa dormir

Após a semana de histórias de agentes desonestos, parei de perguntar se um modelo era inteligente o suficiente para ser implantado e comecei a perguntar se poderia provar o que ele fazia depois. A segunda pergunta é a que me mantém seguro.

Minha lista de verificação é curta e inegociável. Liste todas as ações que o agente pode realizar e que não podem ser desfeitas. Guarde cada um atrás de uma regra humana ou rígida. Mantenha um registro imutável do que foi executado. Nada disso é exótico e tudo é chato, e é por isso que as pessoas ignoram.

A parte que mudou meu comportamento foi o log. Um agente que não consigo explicar depois do fato é um passivo com um distintivo de produtividade. Se não consigo auditar, não toca em nada real, ponto final.

Vi equipes tratarem a segurança como um recurso modelo, algo que o laboratório fornece. Não é. O agente seguro é uma arquitetura: permissões com escopo definido, uma lista de permissões, uma porta humana para o irreversível. O modelo é apenas a parte que fala.

Implante o recurso, instale a gaiola. A gaiola é o recurso, e pular não é velocidade. É uma aposta que você se arrependerá na primeira vez que o agente fizer algo que você não pediu.