프롬프트 주입은 가설이 아닙니다: 도구가 있는 AI 에이전트를 위한 가드레일

모두가 알고 있는 데모: 에이전트가 숨겨진 지침이 포함된 웹 페이지를 읽고 에이전트가 사용자 대신 해당 지침을 따르기 시작합니다. 보안 컨퍼런스 강연처럼 들리지만 실제로 제가 접한 버전은 훨씬 더 지루했습니다. 흰색 텍스트 줄이 있는 공유 문서와 절대 연락해서는 안되는 주소로 내용을 충실하게 전달하는 에이전트였습니다.

불편한 부분은 아무리 주의 깊게 안내해도 이 문제가 해결되지 않는다는 것입니다. 에이전트가 다른 사람이 작성한 텍스트를 읽는 경우 해당 텍스트가 입력되며 모델은 데이터의 명령을 안정적으로 알 수 없습니다. 문서 내의 지침을 무시하도록 모델에 지시하는 것은 수정처럼 들립니다. 그것은 제안이며 실제 작업처럼 보이는 프롬프트에 제안이 적용되지 않습니다.

따라서 가드레일은 모델 외부에 있어야 합니다. 지금 제가 주장하는 세 가지: 에이전트는 가능한 가장 좁은 도구 액세스 권한을 갖고, 모든 결과적인 작업에는 사람이 중단할 수 있는 단계가 필요하며, 에이전트가 수행한 작업을 나중에 읽을 수 있는 일반 언어로 기록하는 로그가 있습니다. 권한 집합은 실제 보안 경계입니다. 프롬프트는 공격자가 아닌 에이전트에 대한 제안입니다.

구체적으로 말하면 이메일을 보낼 수 있는 도구는 이미 계정에 있는 주소로만 보낼 수 있어야 하며 사람이 수신자 목록을 확인한 후에만 보낼 수 있어야 합니다. 셸 명령을 실행할 수 있는 도구는 자격 증명 없이 샌드박스에서 실행되어야 합니다. 에이전트가 프로덕션 키를 갖게 되는 순간 공격자도 마찬가지이기 때문입니다. 읽기 전용이 가장 좋은 기본값이며, 쓰기 액세스 권한은 부여하는 것이 아니라 얻는 것입니다.

나머지 절반은 데이터를 데이터로 취급하는 것입니다. 웹 페이지, 수신 이메일, 공유 문서, 심지어 고객이 보낸 PDF까지 에이전트가 조직 외부에서 읽는 모든 내용은 계약 전달을 요청하는 낯선 사람의 이메일을 처리하는 것과 같은 방식으로 신뢰할 수 없는 입력으로 처리됩니다. 상담원은 이를 요약하고 인용한 후 귀하에게 전달해야 합니다. 절대 따르지 마십시오.

이 중 어느 것도 추상적으로 에이전트를 안전하게 만들지 못합니다. 최악의 결과가 전신 송금 대신 실행 낭비가 되는 작업을 느슨하게 할 수 있을 만큼 안전합니다. 나는 이제 그 문장으로 모든 자동화를 시작합니다. 왜냐하면 최악의 경우가 용납될 수 없다면 도구 선택은 해결해야 할 문제가 아니기 때문입니다.

자주 묻는 질문:

Q: 프롬프트 주입을 더 나은 프롬프트로 수정할 수 있나요?

A: 아니요. 축소할 수는 있지만 제거할 수는 없습니다. 모델이 읽도록 요청된 콘텐츠와 지침을 안정적으로 분리할 수 없기 때문입니다. 신뢰할 수 있는 해결 방법은 에이전트에게 주의를 요청하는 것이 아니라 에이전트가 수행할 수 있는 작업을 제한하는 것입니다.

Q: 먼저 추가해야 할 가장 중요한 가드레일은 무엇입니까?

A: 작업 외부의 모든 것에 대한 쓰기 액세스를 제거합니다. 대부분의 에이전트 인시던트는 에이전트가 사람의 확인 없이 전송, 삭제 또는 지출을 할 수 없는 순간부터 무해해집니다. 읽기 전용 에이전트는 기본적으로 안전합니다.

Q: 내 파일에만 에이전트를 사용하는 경우에도 이것이 필요합니까?

A: 위험은 에이전트가 쓰는 것뿐만 아니라 읽는 모든 것에도 있습니다. 동료나 고객이 보낸 문서에는 동일한 지침이 포함될 수 있으며 에이전트는 메모를 처리하는 것과 동일한 방식으로 이를 처리합니다.