AI 연구연구 프리프린트
에이전트 평가의 누락 근거를 구분하는 AuditKIT 공개
원문 읽기 · arxiv.org ↗(새 탭에서 열림)에이전트 평가에서 관측하지 못한 근거를 실패로 오인하지 않도록 구분하는 AuditKIT 연구 도구가 공개됐다.
배경과 변경
- 모델 점수·도구 호출·검색 품질·실행 결과가 서로 다른 형식으로 남으면 같은 실행도 다르게 해석된다. AuditKIT는 지표 방향과 실행 구성을 공통 결과에 기록한다.
원문 근거
- 7개 사례는 답 추출과 서빙 환경, 검색 지표 선택에 따라 평가 결과의 해석이 달라지는 예를 제시한다. 최종 결과를 확인할 수 없는 에이전트 실행은 경로 진단과 분리한다.
적용 조건
- 사례 규모가 작고 자동 판정기의 인간 대조가 없어 평가 성능의 일반화 근거는 아니다. 사용 시 수집한 흔적과 도구의 source-available 상업 사용 조건을 함께 확인해야 한다.
함께 확인할 조건
- 7개 사례는 작고 단일 모델 판정기의 인간 라벨 대조가 없다. 모델의 보편적 순위는 주장하지 않으며 도구의 LSAL v1.2는 상업적 사용에 조건이 있다. 비심사 프리프린트다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.