AI 연구연구 프리프린트
시끄러운 선호 피드백, 소수의 깨끗한 평가로 보상 모델 보정
원문 읽기 · arxiv.org ↗(새 탭에서 열림)AI 응답에 대한 사람 또는 모델의 선호 피드백은 잘못되거나 상황마다 신뢰도가 다를 수 있다. CleanRM은 전체에 같은 오염률을 적용하는 대신 소수의 확인된 평가를 이용해 응답별 오염 정도를 추정하고 보상 모델의 손실을 보정한다.
연구 방법
- 오염된 선호와 깨끗한 평가의 결합 분포를 최적 수송으로 맞춰 표본별 오류 비율을 산출한다. 이를 보정 손실에 넣어 깨끗한 위험에 대한 불편 추정 성질을 이론적으로 보였다. HelpSteer·UltraFeedback·PKU-SafeRLHF에서 기존 제거법과 두 구성요소의 절제를 비교했다.
평가 결과
- 세 벤치마크의 보상 예측 R²는 가장 강한 비교법 TrainRef보다 각각 0.052, 0.013, 0.032 높았다. PKU-SafeRLHF로 학습한 보상을 써서 Qwen3-8B 정책을 조정한 시험에서 FFT 안전 점수는 0.515로 단순 학습 0.287, TrainRef 0.443보다 높았다. 안전 점수는 자동 평가자의 판정이다.
적용 조건
- 소수라도 신뢰할 수 있는 깨끗한 평가를 얻는 비용이 필요하다. 분석 대상은 점수형 보상 모델이며 쌍별·목록형 선호에 대한 보장은 없다. 정책 안전성은 지정 벤치마크와 자동 평가자, 짧은 후속 학습 조건에서 관찰됐으므로 실제 배포 안전 개선으로 곧바로 읽을 수 없다.
함께 확인할 조건
- 소수라도 신뢰할 수 있는 깨끗한 평가를 얻는 비용이 필요하다. 분석 대상은 점수형 보상 모델이며 쌍별·목록형 선호에 대한 보장은 없다. 정책 안전성은 지정 벤치마크와 자동 평가자, 짧은 후속 학습 조건에서 관찰됐으므로 실제 배포 안전 개선으로 곧바로 읽을 수 없다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.