A injeção imediata não é hipotética: proteções para agentes de IA que possuem ferramentas

A demonstração que todo mundo conhece: um agente lê uma página da web que contém instruções ocultas e começa a segui-las em vez das suas. Parece uma palestra de conferência de segurança, mas a versão que encontrei na prática era muito mais monótona – um documento compartilhado com uma linha de texto em branco e um agente que obedientemente encaminhou o conteúdo para um endereço que nunca deveria ter contatado.

A parte desconfortável é que nenhuma solicitação cuidadosa resolve isso. Se o seu agente ler um texto escrito por outra pessoa, esse texto será uma entrada e um modelo não poderá identificar instruções a partir dos dados com segurança. Dizer ao modelo para ignorar as instruções contidas nos documentos parece uma solução; é uma sugestão, e as sugestões perdem para prompts que se parecem com a tarefa real.

Portanto, os guarda-corpos têm que ficar fora do modelo. Insisto em três coisas agora: o agente obtém o acesso mais restrito possível à ferramenta, cada ação consequente precisa de uma etapa que um ser humano pode interromper e há um registro que registra o que o agente fez em linguagem simples que posso ler mais tarde. O conjunto de permissões é o limite de segurança real; o prompt é uma sugestão ao agente, não ao invasor.

Concretamente: uma ferramenta que pode enviar e-mail só deve poder enviar para endereços que já estejam na conta, e somente depois que um humano confirmar a lista de destinatários. Uma ferramenta que pode executar comandos shell deve ser executada em uma sandbox sem credenciais, porque no momento em que seu agente tiver suas chaves de produção, o invasor também terá. Somente leitura é o melhor padrão, e acesso de gravação é o que você ganha em vez de conceder.

A outra metade é tratar os dados como dados. Qualquer coisa que o agente leia de fora da sua organização – páginas da web, e-mails recebidos, documentos compartilhados e até mesmo PDFs de clientes – é tratado como entrada não confiável, da mesma forma que você trataria o e-mail de um estranho solicitando o encaminhamento do contrato. O agente deve resumi-lo, citá-lo e passá-lo para você – nunca obedecê-lo.

Nada disso torna os agentes seguros em abstrato. Isso os torna seguros o suficiente para se soltarem em uma tarefa onde o pior resultado é uma corrida desperdiçada em vez de uma transferência eletrônica. Agora começo toda automação com essa frase, porque se o pior caso for inaceitável, a escolha da ferramenta não é o problema que você deveria resolver.

Perguntas frequentes:

P: A injeção imediata pode ser corrigida com um aviso melhor?

R: Não. Ele pode ser reduzido, mas não eliminado, porque o modelo não consegue separar com segurança as instruções do conteúdo que foi solicitado a ler. A solução confiável é limitar o que o agente pode fazer, e não pedir que ele tome cuidado.

P: Qual é a proteção mais importante a ser adicionada primeiro?

R: Remova o acesso de gravação a qualquer coisa fora da tarefa. A maioria dos incidentes do agente torna-se inofensiva no momento em que o agente não consegue enviar, excluir ou gastar sem a confirmação humana. Os agentes somente leitura falham à prova por padrão.

P: Preciso disso se usar agentes apenas em meus próprios arquivos?

R: O risco está em tudo o que o agente lê, não apenas no que escreve. Um documento de um colega ou cliente pode conter as mesmas instruções, e seu agente as trata da mesma forma que trata suas anotações.