AI 연구연구 프리프린트
작은 AI에서 큰 AI로 넘기는 기준, 과제와 언어마다 효과가 달랐다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)큰 모델 호출을 아끼려 작은 모델의 불확실한 질문만 올려 보내는 정책이 언어마다 같은 기회를 주는지 평가했다.
배경과 설계
- 연구진은 Qwen3·Gemma3·Llama3.2의 같은 계열 내 작은 모델과 큰 모델을 비교했다. 영어·벵골어·힌디어·우르두어의 읽기, 지식·추론, 주제 분류 선택형 문항에서 답지 상위 두 확률의 간격을 전환 기준으로 삼았다.
과제별 근거
- 큰 모델이 작은 모델의 오류를 바로잡을 사례를 찾는 AUC는 읽기 0.612, 주제 분류 0.705였지만 지식·추론은 0.510이었다. 50% 전환 예산에서 읽기·분류는 무작위 전환보다 정확도가 높았고 지식·추론에서는 일관된 우위가 없었다. 전역 기준의 언어별 전환율 차이는 한 조건에서 30.33%포인트에 달했다.
적용 조건
- 언어별 동일 할당은 전환율 차이를 설계상 없애지만 최종 정확도 격차를 자동으로 없애지는 않는다. 세 작은 모델 계열의 자유 생성이 아닌 선택형 채점이며, 오프라인 예측과 순차 T4 측정은 실제 동시 서비스의 지연·비용·에너지를 대신하지 않는다.
함께 확인할 조건
- 0.510은 다국어 지식·추론 자료에서 세 모델 계열 평균 오류 수정 예측 AUC로, 모든 과제의 라우팅 성능이 아니다. 30.33%포인트는 Qwen3·Belebele의 50% 전환 예산에서 언어별 최대-최소 전환율 차이다. 네 언어·선택형 오프라인 점수와 두 T4 GPU의 순차 실행으로 자유 생성·실제 서비스 비용을 일반화할 수 없는 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.