AI 연구연구 프리프린트
정답표 없이 언어모델 신뢰도 추정하는 Jury 연구
원문 읽기 · arxiv.org ↗(새 탭에서 열림)Jury는 다수결 대신 모델들의 답 분포와 일치 패턴에서 신뢰도 가중치를 추정한다.
배경·접근
- 정답표 없이 기대값 최대화로 모델별 가중치를 추정한다. 숨은 참답과 고정 신뢰도, 참답을 조건으로 한 모델 답의 독립성을 가정한다.
실험 근거
- 최대 30억 매개변수 모델 9개를 합쳐 1,560문항에서 76.9% 정확도를 얻었다. 최선 단일 모델보다 2.0%포인트 높았다.
적용 조건
- 주로 객관식이며 효과 상당 부분은 GSM8K에서 나왔다. 상관된 오차, 질문별 신뢰도 변화, 다른 모델 집합과 서술형 업무는 별도 검증이 필요하다.
함께 확인할 조건
- 9개 고정 모델과 주로 객관식 문항에 한정됐다.
- 지도 방식과 차이가 유의하지 않다는 결과가 동등성을 입증하지는 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어집를 참고할 수 있다.