AI 연구연구 프리프린트
외부 문서가 에이전트 기억의 권한이 되는 것을 막는 SAFE-Mem
원문 읽기 · arxiv.org ↗(새 탭에서 열림)SAFE-Mem은 에이전트가 읽고 저장한 문장을 나중에 누구의 지시나 정책으로 사용할 수 있는지 기억 단계에서 구분한다.
배경과 구조
- 외부 문서에 적힌 제품 추천이나 정책 주장은 해당 문서의 내용일 뿐 사용자의 승인이나 선호는 아니다. SAFE-Mem은 문장별 종류·권한·적용 범위를 기록하고 검색 요청의 용도와 대상에 맞는 주장만 노출한다.
실험 근거
- MPBench의 네 모델에서 공격 성공률은 1.5~6.2%였다. GPT-5.6-terra의 무방어 26.7%가 SAFE-Mem에서 2.6%로 줄었고 LoCoMo 기억 질문 정확도는 50.2%에서 61.3%로 올랐다.
적용 조건
- 기억의 출처 권한을 다루며 기록 내용의 진실성을 판정하지 않는다. 사용자가 잘못된 내용을 직접 승인한 경우도 막지 못한다. 공개 벤치마크 결과를 실제 서비스의 완전한 방어로 해석할 수 없는 비심사 프리프린트다.
함께 확인할 조건
- 벤치마크 공격과 모델 판정에 기반한 결과다. 사용자가 속아서 내용을 기억하라고 승인하거나 원자료가 거짓인 경우는 권한 통제로 해결되지 않는다. 실제 조직 배포의 안전성은 검증되지 않은 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.