AI 연구연구 프리프린트
모두 실패한 풀이에서도 학습 신호 찾기…새 시도가 성공한 메모만 채택
원문 읽기 · arxiv.org ↗(새 탭에서 열림)강화학습에서 한 문제의 풀이가 전부 틀리면 서로 비교할 성공 사례가 없어 배울 신호가 약하다. RSHD는 모델이 실패 풀이를 보고 정답 없이 짧은 수정 메모를 쓰게 한 뒤 그 메모로 새 풀이를 시도해 성과가 실제로 나아졌을 때만 학습에 반영한다.
연구 방법
- 모델은 실패 원인을 적되 참조 정답은 보지 않는다. 새 시도가 기존 묶음보다 더 자주 성공한 메모를 골라 성공 풀이를 원래 프롬프트 모델에 증류한다. 학습 뒤 사용자는 추가 메모나 반복 추론을 요구받지 않는다. 기준 GRPO와 동일한 원래 풀이·150학습 단계에서 추가 손실만 비교했다.
평가 결과
- Qwen3-4B의 MATH-500 평균 정확도는 GRPO 76.9%에서 RSHD 84.5%로 높아졌고, 과학 숫자 문제 학습 후 별도 TheoremQA는 40.1%에서 56.5%로 올랐다. 수학 풀이 길이는 평균 2545토큰에서 1979토큰으로 줄었다. GPQA 수치는 정확 일치와 모델 재판정 지표가 달라 구분해야 한다.
적용 조건
- 검증 가능한 정답이 있는 수학·과학 문제에서의 결과이며 개방형 업무로 일반화되지 않았다. 메모 자체의 사실성을 입증한 것은 아니고 새 시도의 결과로 유용성을 간접 판정했다. 메모 탐색·재시도·증류는 학습 계산 비용을 더 요구하므로 동일 최종 서비스 비용 우위를 주장할 수 없다.
함께 확인할 조건
- 검증 가능한 정답이 있는 수학·과학 문제에서의 결과이며 개방형 업무로 일반화되지 않았다. 메모 자체의 사실성을 입증한 것은 아니고 새 시도의 결과로 유용성을 간접 판정했다. 메모 탐색·재시도·증류는 학습 계산 비용을 더 요구하므로 동일 최종 서비스 비용 우위를 주장할 수 없다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.