AI 연구연구 프리프린트
다수결 보상이 때로 정답 보상처럼 작동하는 이유, 오류의 방향에서 찾았다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)정답표가 없는 문제에서 모델 자신의 여러 답 중 다수결을 보상으로 삼으면 틀린 답을 강화할 위험이 있다. 이 연구는 개별 질문의 정답률보다 여러 질문을 합친 배치의 기울기 방향을 비교해 다수결 보상이 작동하는 조건을 분석했다.
연구 방법
- Qwen·Llama 계열 다섯 모델의 응답별 기울기를 압축해 같은 답 모음에 정답 보상과 다수결 보상을 각각 적용했다. 질문마다 틀린 보상의 기울기 방향이 서로 흩어져 있으면 오류가 상쇄된다는 분해를 제시했다. 같은 규칙으로 함께 잘못된 보상을 주면 이 조건이 깨지는 대조 실험도 했다.
평가 결과
- Qwen3-1.7B 시작 지점에서 다수결의 정답 보상 대비 잡음 보정 코사인은 0.997로 1에 가까웠다. 정답 표지를 무작위로 최대 약30% 뒤집어도 방향은 유지됐지만 응답 길이 같은 공동 규칙으로 틀리면 방향이 크게 어긋났다. 학습 중 국소 방향은 비슷했어도 보류 문제의 최종 다수결 정확도는 정답 보상 학습이 앞섰다.
적용 조건
- 이 결과는 주로 정답 형식이 뚜렷한 수학 문제와 특정 배치 크기·학습 설정에서 측정됐다. 오류가 여러 질문에 공통으로 반복되거나 긴 학습에서 쌓이면 다수결이 정답 검증을 대체한다고 보장할 수 없다. 국소 기울기 일치와 최종 모델 성능 일치를 혼동하면 안 된다.
함께 확인할 조건
- 이 결과는 주로 정답 형식이 뚜렷한 수학 문제와 특정 배치 크기·학습 설정에서 측정됐다. 오류가 여러 질문에 공통으로 반복되거나 긴 학습에서 쌓이면 다수결이 정답 검증을 대체한다고 보장할 수 없다. 국소 기울기 일치와 최종 모델 성능 일치를 혼동하면 안 된다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.