AI 평가연구 프리프린트
GraphACM, 같은 상태에서의 행동 일관성으로 에이전트 성공 가능성 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)GraphACM은 같은 과제를 여러 번 실행한 에이전트의 행동을 단순한 단계 위치가 아니라 비슷한 의사결정 상태별로 비교한다.
측정 방식
- 같은 과제의 여러 실행을 상태·행동 그래프로 합치고 동등한 상태에서 선택한 행동의 일관성을 계산한다.
실험 결과
- ALFWorld, AppWorld, WebShop의 세 모델에서 평균 AUROC 0.811을 보고했다.
- 비교한 행동 일관성 기준은 0.729, 언어로 표현한 확신도는 0.769였다.
한계
- 상태 병합 오류와 반복 실행 비용에 영향을 받으며 예측 점수는 실제 오류 예방을 증명하지 않는다.
함께 확인할 조건
- 여러 번 실행한 경로와 상태 등가성 판정이 필요하다.
- 성공 가능성 예측 결과가 실제 배포의 사고 예방이나 안전 보장은 아니다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.