AI 연구연구 프리프린트
정답 없는 동료 풀이에서도 학습 신호 추출, 수학 추론 모델 시험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)Shared Residual Distillation은 정답 표지나 외부 교사 없이 여러 동료 풀이의 공통 변화만 뽑아 수학 추론 모델을 학습시키는 방법이다.
연구 방법
- 같은 문제의 동료 풀이가 유도한 토큰 분포를 다른 문제 풀이를 쓰는 대조군과 비교한다. 여러 풀이에서 방향이 일치하는 잔차만 보수적인 크기로 모아 자기증류 신호로 삼는다.
평가 결과
- Qwen3 1.7B·4B·8B의 AIME 2024~2026 평균@12는 각각 11.02→16.20, 19.07→45.46, 21.39→54.44로 보고됐다. 4B는 50단계의 45.46에서 100단계 31.85로 떨어져 더 오래 학습하면 반드시 좋아지는 것은 아니다.
적용 조건
- 동료 풀이의 합의가 정답을 증명하지 않으며 다른 문제 대조군에도 문체 신호가 남을 수 있다. 수학 문제에서만 평가했고 자유형 과제로 일반화되지 않았다. 비심사 프리프린트다.
함께 확인할 조건
- 동료 풀이의 합의가 정답을 증명하지 않으며 다른 문제 대조군에도 문체 신호가 남을 수 있다. 수학 문제에서만 평가했고 자유형 과제로 일반화되지 않았다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.