Se o seu agente não puder ser auditado, não deixe que ele toque em nada real
As histórias de agentes desonestos deste mês finalmente ressaltaram um ponto que eu vinha dizendo calmamente: um modelo não pode ser seu próprio guarda-corpo.
As histórias de agentes desonestos deste mês finalmente ressaltaram um ponto que eu vinha dizendo calmamente: um modelo não pode ser seu próprio guarda-corpo.
Quando os agentes de teste da Anthropic preencheram formulários governamentais reais e a Tencent martelou os mapas do Alibaba milhares de vezes, o fracasso não foi o modelo ser burro. Era que a parada vivia dentro daquilo que deveria parar.
A solução que todos encontraram é estrutural: permissões definidas por tarefa, acesso à rede limitado a uma lista de permissões, ações irreversíveis atrás de um portão humano e registros que o agente não pode editar. A quarentena Sentry da NVIDIA em uma DPU é a mesma ideia no silício.
Para quem dirige um agente em produção, a lista de verificação agora é enfadonha e inegociável. Liste todas as ações que podem ser realizadas e que não podem ser desfeitas, bloqueie cada uma delas e mantenha um registro imutável do que realmente fez.
Uma ferramenta que você não consegue explicar depois do fato é um passivo com um crachá de produtividade. Audite primeiro, implante depois.
