AI 안전성연구 프리프린트
AgentEval, 에이전트 실행 결과와 증거의 현재 유효성을 분리해 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)에이전트가 성공을 말해도 외부 상태가 실제로 바뀌었는지, 이를 뒷받침한 증거를 지금도 쓸 수 있는지는 따로 평가해야 한다.
평가 구조
- 평가 계약에 권한·상태·조건부 행동을 명시하고 실제 도구 사건과 상태를 독립 증거로 묶는다.
- 기록된 판정은 보존하면서 사양·도구·증거가 바뀐 뒤 현재 보고서로 재사용할 수 있는지 다시 판정한다.
관찰
- 32회 시도 중 30회가 완료됐고 두 건의 중단은 별도로 남겼다.
- 48개 증거 변형 중 해시 검사만으로 36개의 연결 오류가 통과했으며 전체 결합 검사에서는 현재 사용 불가로 판정했다.
한계
- 시험은 모의 세계와 신뢰된 상태 수집을 전제로 한다.
- 실제 사업 계정의 효과, 열린 과제의 채점, 서로 다른 에이전트 비교는 추가 근거가 필요하다.
함께 확인할 조건
- 32회 도구 환경 실행은 세 가지 제한된 모의 업무군이며 2회는 중단됐다.
- 48개 변형은 새 에이전트 실행이 아니고 실제 계정·조직에서의 성능을 뜻하지 않는다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.