ABLE

AI 에이전트연구 프리프린트

LEASH, 컴퓨터 사용 에이전트의 상위 모델 호출 시점 평가

편집 중요도 4/5컴퓨터 사용모델 라우팅평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)

LEASH는 작은 컴퓨터 사용 모델의 내부 상태를 과거 성공·실패 경로와 비교해 어려운 작업만 강한 모델로 넘기고, 넘긴 뒤에도 그림자 관찰자로 감시하는 연구 방식이다.

라우팅 설계

  • 초기 과제 판단과 실행 중 단계 판단에 약한 모델의 내부 상태를 사용한다.
  • 상위 모델로 넘긴 뒤에는 그림자 관찰자가 계속 경로를 살핀다.

OSWorld 결과

  • 네 가지 약한 모델 설정에서 같은 전환 비율의 무작위 방식보다 성공률이 6.55~11.94%포인트 높았다.
  • Qwen3.5-35B-A3B 설정은 성공률 73.66%, 추정 비용 0.4117달러/과제였다.

주의할 점

  • 논문은 컴퓨터 사용 밖으로의 일반화와 상위 모델 감시 효과의 독립적인 인과 검증을 수행하지 않았다.

함께 확인할 조건

  • OSWorld 컴퓨터 사용 과제에 한정된 평가다.
  • 불확실성은 약한 모델 실패 위험을 추정하며 상위 모델의 추가 이득이나 감시 자체의 인과 효과를 직접 측정하지 않는다.

출처와 편집 기준

arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)

요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.