AI 연구연구 프리프린트
도구 호출과 작업 단계에 검증 가능한 보상을 주는 Lean4AgenticRL
원문 읽기 · arxiv.org ↗(새 탭에서 열림)에이전트가 과제를 끝냈는지만 보던 강화학습 보상에 중간 단계와 도구 실행의 관측 결과를 더했다.
배경과 방법
- 문제별 작업 계획을 형식화한 뒤 실행 궤적을 단계에 대응시킨다. 단계 전후 조건과 도구 호출 결과로 중간 보상을 주고 최종 결과 보상과 함께 정책을 학습한다. 직접 판정 가능한 조건은 Lean/Python, 의미 판단은 LLM 판정자를 사용한다.
실험 근거
- 9B·27B 모델을 SWE-Bench Verified와 TerminalBench 2.0·2.1에서 비교했다. LAR-27B는 세 평가에서 84.2%, 68.2%, 77.3%였고 같은 크기 비교군 Qwen-3.8-27B는 83.0%, 64.7%, 69.6%였다.
적용 조건
- 형식화된 단계의 판정과 모델 내부 행동의 완전한 증명은 다르다. 저자도 검증을 훈련 보상으로 제한하고 실행시 하네스 검증은 다루지 않았다고 밝힌다. 시각 입력도 평가 범위 밖이다.
함께 확인할 조건
- Lean/Python으로 판정 가능한 조건 외의 의미 해석은 LLM 판정자에 의존한다. 외부로 구획한 행동의 훈련 보상이며 실행 중 하네스 검증, 모델 내부 계산, 시각 입력은 범위 밖이다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.