AI 안전성연구 프리프린트
에이전트 안전성 평가, 입력 표면 단서에 따라 점수가 달라질 수 있다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)에이전트 가드의 안전성 점수는 평가 자료의 구성과 입력 표기 방식에 민감할 수 있다.
평가 설계
- 저자들은 공개된 LinuxArena 경로와 AgentDojo·AgentHarm 단계 자료를 대상으로 단순 단서의 라벨 예측, 가드 판정과의 관찰 연관, 짝비교에서의 실제 판정 변화를 순서대로 검사했다.
- AgentDojo의 64단계 고정 표본에는 원본과 표기 변경 조건을 반복 배치하고 중립적 서식 변경을 대조군으로 두었다. 기록된 도구 호출은 실행하지 않았다.
관측 결과
- AgentDojo에서 도구 이름 암기 규칙의 F1은 혼합 영역 검증 0.901에서 영역 제외 검증 0.495로 낮아졌다. AgentHarm의 TS-Guard F1은 단계 가중 0.902에서 상호작용 동일 가중 0.719로 달라졌다.
- Haiku 가드는 64단계 짝비교에서 표기 조건에 따라 차단율이 8.33%포인트 낮아지거나 11.46%포인트 높아졌다. 위험 단계는 모두 차단됐고 Luna 반복 실험에는 같은 크기의 변화가 없었다.
해석 범위
- 단서가 라벨을 예측한다는 사실만으로 가드가 그 단서를 사용한다고 단정할 수 없다. 짝비교도 특정 표기 변화에 대한 민감도를 보여줄 뿐 벤치마크 전체의 무효를 뜻하지 않는다.
- 64단계는 대표 표본이 아니고 의미 보존을 독립적으로 검증하지 않았다. 결과는 배포 환경에서의 실제 안전성이나 공격 성공률을 측정하지 않았다.
함께 확인할 조건
- 64단계 표본은 확률 표집이 아니며 신뢰구간은 탐색적이다.
- 표기 변경이 의미를 완전히 보존했는지 독립 인적 검증이 없고, 실제 배포 안전성은 평가하지 않았다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
- 벤치마크Benchmark벤치마크는 모델들을 같은 과제, 데이터, 채점 절차로 비교하기 위한 평가 묶음이다. 점수는 특정 조건에서의 성능을 보여주므로 실제 업무의 데이터나 안전 요구를 대변하는지 확인해야 하며, 공개 문제에 익숙해진 모델은 점수가 과대평가될 수 있다.
- AI 에이전트AI agentAI 에이전트는 목표와 지시, 행동 범위를 받아 도구와 외부 시스템을 이용해 사용자를 대신하여 작업을 진행하는 시스템이다. 단순히 질문에 답하는 챗봇보다 여러 단계를 계획하고 실행할 수 있지만, 허용된 도구와 권한 안에서만 움직이도록 설계해야 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.