AI 연구연구 프리프린트
추론을 더 할지 멈출지, 답의 확신과 비용으로 결정하는 제어기
원문 읽기 · arxiv.org ↗(새 탭에서 열림)평가기 안내 추론에서 답을 채택하거나 기본 답으로 돌아가거나 추론을 더 할지를 고르는 제어기를 제안했다.
연구 방법
- 연구진은 현재 답 채택·보수적 대체 답·추론 확대의 세 선택마다 성공 확률을 보정하고 추가 계산 비용을 차감했다. 수학 추론의 후보 확대와 판정기 피드백을 이용한 답변 수정에 같은 틀을 적용했다.
평가 결과
- 보류된 후보 확대·수정 과제에서 보정 자료로 고른 고정 정책보다 관측 효용이 높았고 온라인 정규화 계산량은 각각 약 30%·16% 낮았다. Qwen3-8B 네 시드에서는 fitted Q보다 계산량이 낮았지만 효용 차이는 작고 방향이 섞였다.
적용 조건
- 세 모델 계열과 MATH·AIME25 및 결정적 정답 과제에서만 시험했다. 개방형 생성·긴 상호작용은 미검증이고 모델·평가기·프롬프트가 바뀌면 제어기를 다시 맞추고 보정해야 한다.
함께 확인할 조건
- 세 모델 계열과 MATH·AIME25 및 결정적 정답 과제에서만 시험했다. 개방형 생성·긴 상호작용은 미검증이고 모델·평가기·프롬프트가 바뀌면 제어기를 다시 맞추고 보정해야 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.