AI 연구연구 프리프린트
CLI 에이전트의 작업 완료와 사용자 협업을 함께 평가하는 RealCLI
원문 읽기 · arxiv.org ↗(새 탭에서 열림)RealCLI는 명령줄 에이전트의 최종 작업 성과와 사람이 진행 중 개입했을 때의 협업 품질을 같은 과제로 비교하는 벤치마크다.
평가 설계
- 101개 작업마다 완전 명세를 한 번에 주는 실행 모드와 스크립트 사용자가 진행 중 정보·수정·제약·승인 결정을 주는 협업 모드를 마련했다. 협업은 이해 가능성, 조종 가능성, 관찰·복구, 신뢰 보정, 안전 경계로 평가한다.
관찰된 차이
- 11개 모델과 3개 하네스의 설정을 비교했다. 모델별 구성 평균 최고점은 49.2%였고 작업과 협업 기준을 같이 충족한 단일 구성 최고점은 37.6%였다. 최종 상태가 좋아도 사용자 개입과 위험 소통에서는 실패할 수 있었다.
해석 조건
- 사용자 개입은 실제 사람이 아닌 스크립트와 평가 체크리스트로 구현됐다. 101개 격리된 CLI 작업의 결과이며 모든 인간 협업 환경의 실측치가 아니다. 비심사 프리프린트다.
함께 확인할 조건
- 실제 사람이 아니라 스크립트 사용자가 51개 시나리오 틀에 따라 개입했다. 결과는 101개 격리 CLI 작업과 점수 정의에 좌우되며 현장 협업의 성공률로 일반화할 수 없다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.