AI 연구연구 프리프린트
AI 에이전트 감시기가 놓친 행동, 실행 없는 기록 편집 시험에서 발견
원문 읽기 · arxiv.org ↗(새 탭에서 열림)AI 에이전트의 행동 기록을 감시하는 모델이 중요한 이상 행동을 놓칠 수 있다. Screwtape 연구는 실제 개발 업무 기록을 편집해 감시기 시험 사례를 만들고, 편집된 기록의 일관성과 심각도를 별도 검증기로 거른 뒤 감시기의 판정을 살폈다. 편집된 행동은 실제로 실행하지 않았다.
연구 방법
- Redwood Research 직원의 Claude Code·Codex 기록 94개를 선정해 총 252회 시험했다. 자체 대리 감시기를 통과한 후보를 검색에 사용하지 않은 외부 개발자 감시기로 다시 평가하고, 마지막에는 사람이 원래 기록과 비교해 타당성을 확인했다. 후보 수와 최종 유효 수를 구분한다.
평가 결과
- 252회 중 대리 감시기와 검증기를 통과한 후보 공격은 35개였다. 이 가운데 17개가 보류 외부 감시기에도 걸리지 않았지만 사람 검토에서 실제 타당성과 심각도를 충족한 것은 6개였다. 별도 일관성 시험에서 검증기는 조작된 불일치 63개 중 55개를 거부했다.
적용 조건
- 원래 기록은 특정 연구 조직의 업무이며 상위 가능성으로 선정한 소수 표본이다. 기록 편집은 실제 실행 결과를 입증하지 못하고 검증기·사람 판정에도 오류 가능성이 있다. 운영 감시기의 일반 실패율로 6/252를 해석하면 안 된다.
함께 확인할 조건
- 원래 기록은 특정 연구 조직의 업무이며 상위 가능성으로 선정한 소수 표본이다. 기록 편집은 실제 실행 결과를 입증하지 못하고 검증기·사람 판정에도 오류 가능성이 있다. 운영 감시기의 일반 실패율로 6/252를 해석하면 안 된다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.