AI 안전성연구 프리프린트
INFUSE, 에이전트 간접 지시 삽입을 40개 작업과 19개 모델에서 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)INFUSE 연구진은 에이전트가 외부 자료를 읽는 긴 작업에서 간접 지시 삽입을 평가하기 위한 격리 벤치마크를 공개했다.
평가 범위
- 40개 작업과 56개 공격 시나리오를 구성하고 19개 모델의 작업 궤적을 비교했다. 외부 자료가 여러 형태로 들어오는 장기 작업을 대상으로 했다.
- 방어 없는 공격 궤적은 26,220건이며 방어 실험을 합한 공격 궤적은 41,824건이다. 별도로 정상 작업 기준 실행 720건을 측정했다.
측정 결과
- 방어 없는 조건에서 모델별 비가중 평균 공격 성공률은 언어 모델 판정 19.6%, 실행 결과의 규칙 검사 15.4%였다. 두 지표는 서로 다른 성공 기준이다.
- 일부 지시 강화 설정에서는 선택한 고위험 부분집합의 평균 성공률이 58.2%에서 14.3%로 낮아졌지만 작업 효용 변화와 모델별 편차가 있었다.
한계
- 모든 작업과 판정 문구가 영어이고 전체 격자 실험은 한 실행 틀을 중심으로 했다. 따라서 다른 실행 틀이나 실제 배포의 절대 위험률을 추정할 수 없다.
- 언어 모델 판정자는 219개 사람 검토 표본에서 일부 손상을 놓쳤다. 격리 환경의 모의 공격은 실제 시스템 피해를 뜻하지 않는다.
함께 확인할 조건
- 영어 자료와 Mini-SWE-Agent 중심 실험이며 다른 언어·실행 틀로 일반화할 수 없다.
- 단일 언어 모델 판정은 사람 검토에서 일부 손상을 놓쳤고, 격리된 성공은 실제 피해가 아니다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
- 벤치마크Benchmark벤치마크는 모델들을 같은 과제, 데이터, 채점 절차로 비교하기 위한 평가 묶음이다. 점수는 특정 조건에서의 성능을 보여주므로 실제 업무의 데이터나 안전 요구를 대변하는지 확인해야 하며, 공개 문제에 익숙해진 모델은 점수가 과대평가될 수 있다.
- AI 에이전트AI agentAI 에이전트는 목표와 지시, 행동 범위를 받아 도구와 외부 시스템을 이용해 사용자를 대신하여 작업을 진행하는 시스템이다. 단순히 질문에 답하는 챗봇보다 여러 단계를 계획하고 실행할 수 있지만, 허용된 도구와 권한 안에서만 움직이도록 설계해야 한다.
- 프롬프트 인젝션prompt injection프롬프트 인젝션은 사용자 입력이나 문서·웹페이지 같은 외부 내용에 섞인 지시가 모델의 원래 작업과 동작을 부당하게 바꾸는 문제다. 외부 자료를 읽는 에이전트에서는 자료의 내용과 실행 권한을 구분하고, 민감한 동작은 별도 통제를 거쳐야 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.