AI 연구연구 프리프린트
모델 답 여러 개의 이득, 비교 기준 바꾸면 달라져…앙상블 실험 경고
원문 읽기 · arxiv.org ↗(새 탭에서 열림)여러 모델 답을 모으면 얼마나 도움이 될까. 같은 답을 여러 칸에 반복해 넣는 경우와 한 칸에만 제시하는 경우부터 다르면 ‘새 후보의 기여’라는 숫자도 바뀐다. 연구진은 직접 답하기·단일 칸·중복 답·여러 답의 네 조건을 같은 문제에서 맞춰 비교했다.
연구 방법
- FRAMES와 MultiHopRAG에서 결합 모델이 추가 후보 없이 직접 푸는 기준, 한 후보를 한 칸에 두는 기준, 같은 후보를 반복하는 기준, 서로 다른 후보를 받는 경우를 구분했다. 전체 후보 이득을 후보 추가 대비와 후보 맥락 대비로 나눈 값은 항등식이지만, 어떤 비다양성 대조군을 택하느냐에 따라 ‘다양성’ 추정치는 달라진다.
평가 결과
- MultiHopRAG의 두 모델 답 조건에서 중복 답 대비 추가 후보 이득은 +9.3%포인트였지만 한 칸 대비는 +1.0%포인트였고 직접 풀이 대비 전체 후보 이득은 -3.0%포인트였다. FRAMES의 200문제에서 더 강한 후보 생성 설정으로 바꾸자 반복 답과 한 칸의 차이도 부호가 뒤집혔다. 후보의 질·결합 문맥·출력 제한을 함께 봐야 한다.
적용 조건
- 단일 연구자의 프리프린트이며 특정 벤치마크, 결합 모델 및 후보 생성 예산에 한정된다. 더 강한 후보 비교는 모델 정체성과 생성 한도까지 함께 바꿨으므로 원인을 하나로 분리할 수 없다. 사람 판정 표본 60건에서 자동 판정과 50건 일치해 측정 오차도 남는다.
함께 확인할 조건
- 단일 연구자의 프리프린트이며 특정 벤치마크, 결합 모델 및 후보 생성 예산에 한정된다. 더 강한 후보 비교는 모델 정체성과 생성 한도까지 함께 바꿨으므로 원인을 하나로 분리할 수 없다. 사람 판정 표본 60건에서 자동 판정과 50건 일치해 측정 오차도 남는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.