AI 연구연구 프리프린트
답 하나로 토큰 기여도 추정…추론 강화학습의 다중 샘플 부담 줄였다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)검증 가능한 정답으로 언어모델 추론을 강화학습할 때 널리 쓰는 그룹 상대 보상은 같은 문제에 답을 여러 번 생성한다. 연구진은 최종 결과를 본 뒤 토큰의 기여도를 추정하는 Hindsight-Privileged RLVR을 제안해 문제당 한 번의 생성으로 학습했다.
연구 방법
- 제안 방식은 같은 문맥에서 실제 다음 토큰과 사후 정보를 본 예측의 차이를 Jensen-Shannon divergence로 측정하고, 정답 검증 보상과 결합해 토큰별 학습 신호를 만든다. Qwen3 4B·8B 등을 수학·코드·ALFWorld 과제에서 GRPO와 비교했다. 비교에는 동일한 100단계·네 문제 배치와 그룹 기준 여덟 번 생성이라는 조건이 붙는다.
평가 결과
- Qwen3-8B 조건의 학습 시간은 GRPO 대비 수학 1.21배, 코드 1.46배, ALFWorld 2.30배 빨랐다. 하지만 수학 정확도는 제안 방식이 앞선 반면 코드와 ALFWorld에서는 GRPO가 앞선 설정이 있다. 4B·8B GRPO에서 보상 차이가 없어 기울기가 0인 배치는 각각 43.2%·49.0%였고 제안 방식에는 없었다.
적용 조건
- 사후 예측 차이가 실제 인과적 토큰 공헌을 직접 증명하지는 않는다. 최종 보상 대리 신호의 편향 가능성과 선택된 작은 모델·과제 범위가 남는다. 속도와 최적 성적은 특정 배치·하드웨어·체크포인트 기준이며 보편적 우위로 해석할 수 없다.
함께 확인할 조건
- 사후 예측 차이가 실제 인과적 토큰 공헌을 직접 증명하지는 않는다. 최종 보상 대리 신호의 편향 가능성과 선택된 작은 모델·과제 범위가 남는다. 속도와 최적 성적은 특정 배치·하드웨어·체크포인트 기준이며 보편적 우위로 해석할 수 없다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.