AI 연구연구 프리프린트
모델의 자신감만 보상하면 추론이 무너진다…선별적 내부 피드백 실험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)정답 검증기 없이 모델 자신의 토큰 확신도를 강화학습 보상으로 쓰면, 자신감은 오르는데 정답률은 떨어질 수 있다. 비심사 논문은 확신도 분포와 여러 응답 간 비교를 거친 경우에만 학습하는 SIF를 제안했다.
연구 방법
- SIF는 응답의 토큰별 확신도를 정렬한 여러 구간을 비교하고, 같은 질문의 다른 응답과 투표해 보상을 만든다. 충분한 길이의 응답만 사용하고 모든 응답의 보상이 같은 그룹은 업데이트에서 제외한다. 보상은 정답 확인이 아니라 모델 내부 분포에서 나온다.
평가 결과
- MATH로 훈련한 세 소형 모델을 12개 수학·과학 추론 지표로 평가했다. Qwen2.5-Math-1.5B의 지표 평균은 기존 Intuitor 최적 검증 체크포인트 34.48%에 비해 SIF 마지막 체크포인트 39.19%로 4.71%포인트 높았다. 다른 백본에서도 마지막 체크포인트의 성능 보존을 보고했다.
적용 조건
- 대형 모델은 자원 제약으로 시험하지 않았고 훈련 자료 규모가 작으며 평가 영역이 수학·과학에 치우쳐 있다. 내부 확신도 보상이 정답의 증명은 아니며 코딩·다단계 일반 과제로 확장된 성능은 확인되지 않았다.
함께 확인할 조건
- 대형 모델은 자원 제약으로 시험하지 않았고 훈련 자료 규모가 작으며 평가 영역이 수학·과학에 치우쳐 있다. 내부 확신도 보상이 정답의 증명은 아니며 코딩·다단계 일반 과제로 확장된 성능은 확인되지 않았다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.