AI 연구연구 프리프린트
LLM 평가 기준마다 판단 확신도가 다른데 같은 비중을 주면?
원문 읽기 · arxiv.org ↗(새 탭에서 열림)URW는 LLM 평가표의 항목별 판단 불확실성을 보정해 점수에 다른 비중을 주는 방법이다.
연구 방법
- 연구진은 같은 평가 항목을 뜻을 유지한 여섯 문장으로 바꿔 판정 모델에 묻고, 분할 적합 보정의 p값으로 항목별 가중치를 정했다. 별도 모델 학습 없이 다섯 선호 평가 세트와 세 판정 모델을 비교했다.
평가 결과
- 다섯 세트 모두에서 URW가 균일 가중치와 비교 방법보다 높은 쌍대 선호 정확도를 보고했다. 예를 들어 DeepSeek V4 Pro 판정기의 ResearchQA 정확도는 균일 가중치 0.633에서 URW 0.698로 높아졌다.
적용 조건
- 이론적 보장은 보정 자료와 시험 자료의 교환 가능성에 의존하며 RL 학습 중 분포가 바뀌면 약해질 수 있다. 고정된 문장 바꿔쓰기 목록으로 드러나는 불확실성만 포착하고 평가 기준 자체의 모호성은 구분하지 못한다.
함께 확인할 조건
- 이론적 보장은 보정 자료와 시험 자료의 교환 가능성에 의존하며 RL 학습 중 분포가 바뀌면 약해질 수 있다. 고정된 문장 바꿔쓰기 목록으로 드러나는 불확실성만 포착하고 평가 기준 자체의 모호성은 구분하지 못한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.