AI 연구연구 프리프린트
최종 정답만 받는 산술 추론, 중간 단계 보상을 강화학습에 연결
원문 읽기 · arxiv.org ↗(새 탭에서 열림)언어모델이 여러 계산 단계를 거쳐 정답을 만드는 과제에서는 마지막 결과에만 보상이 주어져 어느 중간 단계가 도움이 됐는지 배우기 어렵다. 연구진은 전체 풀이의 벨만 잔차를 줄이는 학습에 집단 내 비교와 실패 풀이의 목표 재표기를 결합했다.
연구 방법
- TBRM은 종료 보상을 토큰 단계의 일관성 신호로 연결하고, RLOO는 같은 문제에서 나온 여러 결과를 서로의 기준으로 삼아 경사 분산을 낮춘다. 실패 풀이가 실제 도달한 결과를 새 목표로 붙이는 방식도 시험했다. 비교는 숫자와 사칙연산으로 목표값을 만드는 Countdown 한 과제에서 진행했다.
평가 결과
- 원문 실험에서 TBRM-RLOO의 16개 시도 중 정답률은 설정에 따라 76~84%였고 최고 값은 단순 RLOO 비교보다 10%포인트 높았다. 목표 재표기는 1개 시도의 정답률을 최대 64%까지 올렸다. 다만 RLOO-TBRM을 100에서 150학습 단계로 늘리면 1회 정답률은 56%에서 46%로 떨어지는 대신 16회 성공률은 78%에서 84%로 높아졌다.
적용 조건
- 결과는 특정 모델과 Countdown 산술 과제에 한정된다. 16개 후보에서 하나를 찾는 성공률을 1회 답의 정확도와 혼동하면 안 된다. 더 긴 학습에서 단일 답의 정확도가 하락해 다른 추론 문제와 실제 서비스 비용에 대한 검증이 필요하다.
함께 확인할 조건
- 결과는 특정 모델과 Countdown 산술 과제에 한정된다. 16개 후보에서 하나를 찾는 성공률을 1회 답의 정확도와 혼동하면 안 된다. 더 긴 학습에서 단일 답의 정확도가 하락해 다른 추론 문제와 실제 서비스 비용에 대한 검증이 필요하다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.