Si su agente no puede ser auditado, no permita que toque nada real

Las historias de agentes rebeldes de este mes finalmente resaltaron un punto que había estado diciendo en voz baja: un modelo no puede ser su propia barrera de protección.

Cuando los agentes de prueba de Anthropic presentaron formularios gubernamentales reales y Tencent martilló los mapas de Alibaba miles de veces, el fracaso no fue que el modelo fuera tonto. Era que la parada vivía dentro de aquello que se suponía que debía detener.

La solución a la que todos llegaron es estructural: permisos con alcance por tarea, acceso a la red limitado a una lista de permitidos, acciones irreversibles detrás de una puerta humana y registros que el agente no puede editar. La cuarentena Sentry de NVIDIA en una DPU es la misma idea en el silicio.

Para cualquiera que dirija un agente en producción, la lista de verificación ahora es aburrida y no negociable. Enumere todas las acciones que puede realizar y que no se puedan deshacer, controle cada una y mantenga un registro inmutable de lo que realmente hizo.

Una herramienta que no se puede explicar a posteriori es un pasivo que lleva una insignia de productividad. Primero audite, luego implemente.