AI 연구연구 프리프린트
AI 에이전트 실행 오류를 단계별로 표시하는 Annotrace 공개
원문 읽기 · arxiv.org ↗(새 탭에서 열림)AI 에이전트 실행 기록의 위임·도구 호출을 단계별로 표시하고 사람이 오류를 분류하는 Annotrace 연구 도구가 공개됐다.
배경과 구조
- 에이전트 실행 전체가 성공해도 중간에는 불필요한 검색이나 잘못된 확인이 있을 수 있다. Annotrace는 기록을 단계와 하위 단계로 펼치고 사용자가 라벨 기준을 정해 각 단계에 답하게 한다.
검증 범위
- 여섯 실행 기록 형식을 지원하고 40개 다중 에이전트 실행에서 이전 수작업의 235개 분류 단위를 동일하게 추출했다. 두 모델의 6개 실행에 대한 22개 답변 일치는 91%였다.
적용 조건
- 이 수치는 라벨링 도구가 기록 구조를 재현하고 두 모델 답변이 일치하는지에 대한 제한된 확인이다. 실제 오류 탐지 정확도나 사람 간 일치도를 보여 주지는 않는다. 비심사 데모 프리프린트다.
함께 확인할 조건
- 짧은 데모 논문이며 모델 일치도 표본은 6개 실행의 22개 답변이다. 사람 간 라벨 신뢰도나 다양한 운영환경에서의 실패 진단 정확도를 입증한 것은 아니다. 비심사 프리프린트다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.