AI 연구연구 프리프린트
AI 답변 평가자가 서로 다를 때, 불일치를 훈련 신호에서 걸러낸 실험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)열린 질문에서는 정답을 자동으로 판정하기 어려워 AI 평가자가 기준표에 따라 답을 채점하고 그 결과를 강화학습 보상으로 쓴다. 같은 기준표라도 평가 모델에 따라 신호가 달라질 수 있어 연구진은 두 평가자의 자신감과 이견을 반영하는 RaRE를 시험했다.
연구 방법
- RaRE는 평가자가 1~5점에 부여한 확률로 기대 점수와 자신감을 구해 합산하고, 두 평가자의 기대 점수가 크게 갈리는 학습 출력을 제외한다. Qwen3-4B-Base 정책을 의료 질문 HealthBench와 과학 문제 GPQA Diamond에서 학습했고, 단순 평균·단일 평가자와 비교했다.
평가 결과
- 최선 조합의 HealthBench 점수는 0.364로 시험한 최선의 단일 평가자 0.339보다 높았고, GPQA Diamond에서는 0.412 대 0.406이었다. 의료 과제에서는 이견이 큰 출력 제외가 주요 개선 요인이었다. 그러나 과학 과제의 단일 평가자 대비 차이는 다섯 훈련 시드에서 통계적으로 유의하지 않았다.
적용 조건
- 한 기반 정책과 의료·과학 두 영역에 한정됐다. HealthBench의 평가 모델이 훈련 평가자와 겹쳐 측정 편향 가능성이 있으며, 다른 모델 재채점에서도 상대 순위는 유사했지만 더 넓은 검증이 필요하다. 이견이 큰 출력을 버리면 소수 평가자만 정확히 포착한 안전 문제를 놓칠 수 있다.
함께 확인할 조건
- 한 기반 정책과 의료·과학 두 영역에 한정됐다. HealthBench의 평가 모델이 훈련 평가자와 겹쳐 측정 편향 가능성이 있으며, 다른 모델 재채점에서도 상대 순위는 유사했지만 더 넓은 검증이 필요하다. 이견이 큰 출력을 버리면 소수 평가자만 정확히 포착한 안전 문제를 놓칠 수 있다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.