AI 연구연구 프리프린트
Probe-and-Resume, 에이전트 완료 주장 뒤 복제 환경에서 검사하고 재개
원문 읽기 · arxiv.org ↗(새 탭에서 열림)에이전트의 완료 선언을 그대로 받지 않고 버릴 수 있는 복제 환경에서 실제 결과를 검사한 뒤 필요하면 이어 작업시키는 연구다.
절차
- 실행자가 완료를 주장하면 평가자가 현재 상태의 복제본에서 프로그램 실행과 검사를 수행한다.
- 거절되면 검사 때문에 바뀌지 않은 원래 상태에서 피드백을 받아 다시 작업한다.
평가 결과
- Terminal-Bench 2.1 89개 과제를 다섯 번씩 시험해 성공률이 63.4%에서 72.4%로 올랐다.
- 전체 과제의 모델 비용은 10.70달러에서 23.14달러로 늘었다.
적용 한계
- 복제 가능한 환경이 필요하고 평가자의 잘못된 거절도 추가 작업을 만든다.
- 고난도 과제와 강한 모델 조건에서 같은 이득은 확인되지 않았다.
함께 확인할 조건
- 환경 상태를 복제·복구할 수 있는 터미널 과제에 한정된 평가다.
- 더 강한 모델이나 매우 어려운 과제에서는 유의한 이득이 확인되지 않았고 비용이 늘었다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.