La inyección inmediata no es hipotética: barreras de seguridad para agentes de IA que tienen herramientas

La demostración que todos conocen: un agente lee una página web que contiene instrucciones ocultas y el agente comienza a seguirlas en lugar de las suyas. Parece una charla de una conferencia de seguridad, pero la versión que encontré en la práctica fue mucho más aburrida: un documento compartido con una línea de texto blanco y un agente que obedientemente reenvió el contenido a una dirección con la que nunca debería haber contactado.

La parte incómoda es que ninguna cantidad de indicaciones cuidadosas soluciona este problema. Si su agente lee un texto escrito por otra persona, ese texto se ingresa y un modelo no puede distinguir de manera confiable las instrucciones de los datos. Decirle al modelo que ignore las instrucciones dentro de los documentos parece una solución; es una sugerencia, y las sugerencias pierden terreno ante indicaciones que parecen la tarea real.

Por tanto, las barreras de seguridad tienen que vivir fuera del modelo. Tres cosas en las que insisto ahora: el agente obtiene el acceso más limitado posible a la herramienta, cada acción consecuente necesita un paso que un humano pueda interrumpir y hay un registro que registra lo que hizo el agente en un lenguaje sencillo que puedo leer más tarde. El conjunto de permisos es el límite de seguridad real; el mensaje es una sugerencia para el agente, no para el atacante.

Concretamente: una herramienta que puede enviar correos electrónicos solo debería poder enviarlos a direcciones que ya están en la cuenta, y solo después de que un humano confirme la lista de destinatarios. Una herramienta que pueda ejecutar comandos de shell debería ejecutarse en un entorno limitado sin credenciales, porque en el momento en que su agente tiene sus claves de producción, el atacante también las tendrá. El modo de sólo lectura es el mejor valor predeterminado y el acceso de escritura es lo que se gana en lugar de lo que se concede.

La otra mitad trata los datos como datos. Todo lo que el agente lee desde fuera de su organización (páginas web, correo electrónico entrante, documentos compartidos, incluso archivos PDF de clientes) se trata como entrada no confiable, de la misma manera que trataría el correo electrónico de un extraño que le pide que le reenvíe el contrato. El agente debe resumirlo, citarlo y pasárselo a usted; nunca obedecerlo.

Nada de esto hace que los agentes sean seguros en abstracto. Los hace lo suficientemente seguros como para dedicarse a una tarea en la que el peor resultado es una ejecución inútil en lugar de una transferencia bancaria. Ahora comienzo cada automatización con esa frase, porque si el peor de los casos es inaceptable, la elección de la herramienta no es el problema que debería resolver.

Preguntas frecuentes:

P: ¿Se puede solucionar la inyección rápida con un aviso mejor?

R: No. Se puede reducir, pero no eliminar, porque el modelo no puede separar de manera confiable las instrucciones del contenido que se le pidió leer. La solución confiable es limitar lo que el agente puede hacer, no pedirle que tenga cuidado.

P: ¿Cuál es la barandilla más importante que se debe agregar primero?

R: Elimine el acceso de escritura a cualquier cosa fuera de la tarea. La mayoría de los incidentes con agentes se vuelven inofensivos en el momento en que el agente no puede enviar, eliminar o gastar sin la confirmación de un humano. Los agentes de solo lectura son a prueba de fallos de forma predeterminada.

P: ¿Necesito esto si sólo uso agentes en mis propios archivos?

R: El riesgo está en todo lo que lee el agente, no sólo en lo que escribe. Un documento de un colega o de un cliente puede contener las mismas instrucciones y su agente las trata de la misma manera que trata sus notas.