AI 연구연구 프리프린트
에이전트 강화학습, 경로 분기와 유한 목표로 긴 작업 성능 개선
원문 읽기 · arxiv.org ↗(새 탭에서 열림)긴 에이전트 작업에서는 마지막 성공 여부만으로 어떤 중간 선택이 좋았는지 판단하기 어려워, 경로 분기와 갱신 목표를 함께 설계했다.
배경과 설계
- TreeOPSD는 같은 접두 경로에서 후속 행동을 분기하고 말단 보상을 위쪽으로 되돌려 각 턴의 신용을 계산한다. 고정된 행동 정책을 기준으로 유한한 교사 분포를 만들고, 이후 미니배치에서 현재 정책이 목표에 도달하거나 지나치면 갱신을 멈추거나 반전한다.
비교 근거
- Qwen3-30B-A3B의 Deep Research 네 시험 정확일치 평균은 TreeOPSD 21.20, GRPO 16.23, TreePO 17.59였다. 4B 모델에서도 같은 순서로 15.45, 12.18, 13.07을 기록했다. 같은 트리를 쓰는 TreePO와의 차이는 고정 신용 대신 현재 정책과 목표의 잔차로 갱신하는 데 있다.
적용 조건
- 네 Deep Research 시험은 동일 가중 정확일치 평균이며 모든 개별 문제에서 동일한 개선을 뜻하지 않는다. 기준 방법과는 예상 rollout 예산을 맞췄고, 분기·보상·모델 설정이 정해진 학습 실험이다. 일반 서비스에 적용할 때 성능과 비용은 따로 검증해야 한다.
함께 확인할 조건
- 평균은 네 벤치마크의 정확일치율을 동일 가중한 값으로 4.97%포인트 차이는 GRPO 대비 30B 설정에 해당한다. 예상 rollout 예산은 맞췄으나 실제 학습비용·서비스 성능을 동일하게 입증하지 않았고 모델·보상 조건이 제한된 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.