AI 연구연구 프리프린트
프롬프트 인젝션 공격 실패, 대부분 거부가 아니라 무시였다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)낮은 공격 성공률 뒤에 숨은 에이전트 행동을 무시·거부·작업 실패로 나눠 살핀 연구다.
배경과 질문
- 도구 응답에 섞인 악성 지시가 목표를 이루지 못했더라도, 에이전트가 위험을 알아보고 거부한 것인지 단순히 처리하지 않은 것인지는 공격 성공률만으로 구분되지 않는다.
관찰된 결과
- 연구팀은 11개 공개 모델의 두 벤치마크에서 실행 궤적 3만3000개를 분류했다. 실패한 공격의 약 76~80%는 무시였고 약 17~18%가 진짜 거부였다. 시스템 프롬프트 조건 변경만으로 InjecAgent 성공률은 0.2~43%로 달라졌다.
- AgentDojo에서는 21.7%가 공격에는 안전했으나 사용자 작업도 끝내지 못했다. 따라서 보안과 작업 완수 여부를 같은 실행 건에서 함께 확인해야 한다.
해석 조건
- 정적 합성 공격과 2~14B 공개 모델의 관찰 결과다. LLM 판정과 에이전트가 드러낸 추론에 기반하므로 숨은 인식은 놓칠 수 있으며 실제 배포·적응형 공격 방어를 검증한 것은 아니다. 비심사 프리프린트다.
함께 확인할 조건
- InjecAgent·AgentDojo의 합성 정적 공격, 2~14B 공개 모델, LLM 판정에 한정된다. 실제 서비스·적응형 공격의 방어력을 입증하지 않은 비심사 프리프린트다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.