AI 연구연구 프리프린트
추론 기록과 새 증거가 충돌할 때, 답변을 별도 호출하면 증거를 더 따른다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)검색 결과가 바뀌었는데 모델이 앞서 쓴 추론 기록의 결론을 계속 믿으면 최신 근거를 놓칠 수 있다. 연구진은 서로 충돌하는 검증된 근거와 추론 기록을 묶어, 같은 자료에서 기존 생각을 이어 답할 때와 별도 답변 호출을 할 때를 비교했다.
연구 방법
- HotpotQA와 MuSiQue의 다단계 질의에서 근거 판본을 교차해 현재 자료와 이전 추론의 결론이 다른 경우를 만들었다. gpt-oss·Gemma4·Qwen3 세 모델 계열에서 근거 따르기와 추론 기록이 정확도에 기여하는 정도를 별도로 측정했다. 단순히 기록을 지워 답이 달라지는지만 보면 어떤 근거를 따랐는지 알 수 없다는 문제를 짚었다.
평가 결과
- 별도 답변 호출은 같은 충돌 사례에서 기존 추론의 연속 답변보다 현재 근거를 따르는 비율이 29.9~60.6%포인트 높았다. 두 방식 모두 기록을 제거하면 정확도가 비슷한 폭으로 내려가므로 기록의 유용성과 기록에 대한 맹종은 구분된다. 현재 근거로 다시 추론하게 하면 단순 확인 지시보다 새 근거를 더 자주 따랐다.
적용 조건
- 실험은 구성된 다단계 QA 충돌 사례와 특정 모델·프롬프트의 비교다. 별도 호출이 모든 실제 업무에서 정확하다는 보장은 없고, 무관한 문서가 섞이면 교정력이 약해진다. 이전 추론을 보존하면서 새 근거를 우선할지 제품별로 평가해야 한다.
함께 확인할 조건
- 실험은 구성된 다단계 QA 충돌 사례와 특정 모델·프롬프트의 비교다. 별도 호출이 모든 실제 업무에서 정확하다는 보장은 없고, 무관한 문서가 섞이면 교정력이 약해진다. 이전 추론을 보존하면서 새 근거를 우선할지 제품별로 평가해야 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.