AI 연구연구 프리프린트
정답을 보고 쓴 추론을 학생 모델용으로 바꾼다…수학 학습 계산 비용 줄여
원문 읽기 · arxiv.org ↗(새 탭에서 열림)작은 모델에 수학 추론을 가르치려면 정답을 모른 채 생성해 검증된 교사 풀이를 많이 모아야 해 계산 비용이 크다. CoTranslator는 알려진 정답을 보고 만든 역방향 풀이를 소량의 짝 자료로 훈련한 변환기에 통과시켜 순방향 풀이 분포와 가깝게 만들었다.
연구 방법
- 변환기는 검증된 순방향 풀이와 역방향 풀이 약3만5700쌍으로 훈련했다. 이후 대량의 역방향 풀이를 변환하고 최종 답을 검증해 4B·8B Qwen3와 7B Qwen2.5-Math 학생 여섯 모델을 지도 미세조정했다. 수학 문제 여섯 벤치마크와 새 자료·교사 모델·STEM 전이를 시험했다.
평가 결과
- 여섯 학생의 수학 평균 정확도는 단순히 정답 노출을 억제하는 기준보다 최대 5.82%포인트 높았다. 두 4B 학생의 평균 성적은 거절 표본추출 방식의 95.0% 수준이면서 추정 계산량은 35.9%였다. 비용은 교사 활성 매개변수 등 가정을 둔 추정치이지 실제 지출 청구액이 아니다.
적용 조건
- 실험은 8B 이하 학생과 지도 미세조정, 주로 수학 문제에 집중했다. 답을 알고 만든 풀이의 사후 합리화 위험을 완전히 없애지 못하며 강화학습·더 큰 모델에서 효과는 검증되지 않았다. 비용 비율은 모델·하드웨어·가격에 따라 달라진다.
함께 확인할 조건
- 실험은 8B 이하 학생과 지도 미세조정, 주로 수학 문제에 집중했다. 답을 알고 만든 풀이의 사후 합리화 위험을 완전히 없애지 못하며 강화학습·더 큰 모델에서 효과는 검증되지 않았다. 비용 비율은 모델·하드웨어·가격에 따라 달라진다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.