AI 연구연구 프리프린트
증류 교사의 잘못된 다음 단계, 질문 조건을 가려 비교해 교정
원문 읽기 · arxiv.org ↗(새 탭에서 열림)학생 모델의 생성 과정을 교사 모델이 평가하는 온정책 증류에서도 교사가 질문 조건을 어기는 다음 단계를 높게 평가할 수 있다. CCE-OPD는 같은 학생 출력 접두사에서 원래 질문과 핵심 조건을 가린 질문을 나란히 평가해 교사 피드백을 보정한다.
연구 방법
- 고정된 교사 모델이 두 질문에 대한 다음 토큰 확률을 구하고, 두 분포의 로그확률 차이를 제한해 보조 학습 목표를 만든다. 조건을 빼도 문제의 요구가 남도록 후보를 선별했다. 7498개 훈련 문항 중 3402개에 승인된 가림 질문을 만들었고 나머지는 기존 증류만 적용했다.
평가 결과
- 200개 진단 추론 상태에서 교사의 조건 위반 다음 단계 선호율은 27.0%에서 16.0%로 낮아졌다. 여섯 수학 벤치마크에서는 Qwen3-8B 교사를 0.6B·1.7B 학생으로 증류할 때 기존 방식 대비 avg@8 평균이 각각 1.60·1.95%포인트 높았다. 이는 해당 수학 훈련과 모델쌍의 개선이다.
적용 조건
- 훈련은 MATH 기반 수학 추론에 한정된다. 조건 가림 후보의 자동 주석과 의미 검토에 다른 모델을 사용하므로 선별 품질이 중요하다. 코드 생성·과학 추론 등의 학습 영역으로 일반화됐는지 검증되지 않았고, 학생이 교사의 편향을 물려받을 가능성이 있다.
함께 확인할 조건
- 훈련은 MATH 기반 수학 추론에 한정된다. 조건 가림 후보의 자동 주석과 의미 검토에 다른 모델을 사용하므로 선별 품질이 중요하다. 코드 생성·과학 추론 등의 학습 영역으로 일반화됐는지 검증되지 않았고, 학생이 교사의 편향을 물려받을 가능성이 있다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.