AI 연구연구 프리프린트
검색 결과를 찾고도 원문을 읽지 않는 AI, 오래된 답변·부정확한 인용과 연관
원문 읽기 · arxiv.org ↗(새 탭에서 열림)검색 결과에 정답이 있어도 모델이 원문을 열지 않으면 오래된 답변과 근거가 맞지 않는 인용이 남을 수 있다.
배경·방법
- 저자들은 학습 시점 뒤 값이 바뀐 사실 225건을 여섯 영역에서 모았다. 배포 환경에서 한 모델의 웹 검색을 관찰하고, 별도로 223건에 대해 같은 10개 검색 결과와 페이지 열람 도구를 7개 모델 설정에 제공했다. 원문을 열지 않은 응답, 열었지만 인용하지 않은 응답, 열고 인용한 응답을 나눠 평가했다.
결과·근거
- 통제 검색에서 원문 미열람 응답의 오래된 답변은 87/1366건(6.4%)으로, 열고 인용한 응답의 8/632건(1.3%)보다 많았다. 근거가 맞지 않는 인용도 각각 62/962건(6.4%)과 29/1258건(2.3%)이었다. 이 비율은 모든 질문 유형과 7개 설정을 합친 관찰값이다.
- 스포츠 주장 실험에서 검색 메뉴를 스스로 탐색한 gemma-4-31b의 오래된 주장 수용은 14/50건이었고, 같은 원문을 질문에 직접 넣으면 0/50건이었다. gpt-oss-20b는 11/47건에서 1/50건으로 줄었다. 원문 제공이 도움이 됐지만 모델별 효과는 같지 않았다.
적용 조건
- 원문 미열람과 오류의 연관은 관찰 결과다. 저자들의 층별 읽기 분석은 검색한 새 값이 중간에 반영돼도 마지막에 오래된 값이 우세할 수 있음을 보였으나, 인과 개입 실험은 아니다. 스포츠가 심각한 실패를 주도했고, 의료·금융·상품 정책 등 개별 분야에 동일 비율을 적용할 수 없다.
- 추론: 검색 기반 서비스의 품질 점검에는 원문 열람 여부와 답변이 인용 페이지의 최신 사실과 일치하는지 별도 검사가 유용할 수 있다. 이 논문은 커머스 배포 효과를 직접 시험하지 않았다.
커머스 인사이트 편집 해석
추론: 커머스 검색 응답 평가에서 결과 노출 여부만 확인하지 말고 원문 열람 기록과 인용된 페이지가 답변의 날짜·수치를 실제 뒷받침하는지 검증하는 항목을 둘 수 있다. 커머스 성능 향상 효과는 별도 실험이 필요하다.
함께 확인할 조건
- arXiv 프리프린트이며 배포 환경 실험은 독점 모델 한 종류에 한정된다.
- 심각한 실패율은 스포츠 사실이 주도했고, 고정 답변 형식이 일반 대화와 다른 행동을 유발할 수 있다.
- 내부 층 분석은 스포츠 선수 이적 사례의 상관 패턴이며 실패의 인과 메커니즘을 입증하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어집를 참고할 수 있다.