AI 연구연구 프리프린트
학생 모델의 답변 끝까지 만들지 않아도…증류 훈련 1.3~2.2배 빨라져
원문 읽기 · arxiv.org ↗(새 탭에서 열림)교사 모델이 학생 모델의 출력에 피드백을 주는 온정책 증류에서 매 답변을 끝까지 생성할 필요가 있는지 시험한 STOPD 논문이 나왔다. 무작위 지점에서 출력을 끊되 뒤쪽 토큰의 선택 확률을 역가중해 학습 신호의 편향을 보정한다.
연구 방법
- 각 롤아웃의 중단 위치를 생성 전에 뽑고 보존된 토큰에만 교사 피드백을 구한다. 블록 단위 역확률 가중치로 늦은 토큰의 낮은 포함 확률을 보정해 기존 방식의 기울기 합을 기대값에서 보존한다. SGD·Adam·Muon에 대한 한 단계 업데이트 오차 경계도 분석했다.
평가 결과
- 1.7B~8B 학생 모델의 수학·코드·지시 따르기 실험에서 생성 토큰을 25~48% 줄이고 전체 훈련 단계를 1.3~2.2배 빠르게 했다. 주 실험의 Qwen3-1.7B 코드 작업은 단계당 566초에서 260초로 단축됐고 최종 정확도 28.5% 대 28.1%로 비슷했다. 숫자는 해당 모델·장비·설정의 결과다.
적용 조건
- 보존된 토큰의 기울기 합이 기대값에서 같다는 수학적 결과가 모든 개별 업데이트나 최종 성능의 일치를 보증하지 않는다. 무작위 절단은 분산을 늘릴 수 있어 배치·블록 폭 선택이 중요하며, 짧은 답변에서는 속도 이득이 작다. 다른 작업 흐름으로의 적용은 논의 단계다.
함께 확인할 조건
- 보존된 토큰의 기울기 합이 기대값에서 같다는 수학적 결과가 모든 개별 업데이트나 최종 성능의 일치를 보증하지 않는다. 무작위 절단은 분산을 늘릴 수 있어 배치·블록 폭 선택이 중요하며, 짧은 답변에서는 속도 이득이 작다. 다른 작업 흐름으로의 적용은 논의 단계다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.