AI 연구연구 프리프린트
이중언어 은행 검색, 근거 적합성 확인 후 답변하는 방식 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)은행 고객의 자연어 질문과 상품 페이지의 용어가 다를 때, 관련 페이지를 찾는 것과 답변에 충분한 근거를 찾는 것을 구분했다.
배경과 방법
- 이집트 국립은행 공개 페이지를 아랍어·영어 문서 555개와 청크 962개로 정제했다. 밀집·어휘 검색과 재순위화에 의도별 근거 선택을 더하고 근거가 부족하거나 상품군이 맞지 않으면 답변을 내지 않는 결정을 둔다.
평가 근거
- 정답 URL을 지정한 210질의에서 첫 결과 적중은 기존 하이브리드 검색 50.48%, 제안 구성 79.05%였다. 별도 26건의 끝단 시험은 엄격 성공 18건이고, 생성 답변 22개 중 16개를 Qwen3 자동 판정자가 근거 있음으로 분류했다. 검색 성과와 생성 답변 성과는 서로 다른 시험이다.
적용 조건
- 검색 질의는 적은 기준질문에서 만든 바꿔쓰기이며 아랍어·영어 혼합 발화는 포함하지 않았다. 답변 시험은 작고 규칙 설계에 쓰인 기준질문을 재사용했다. 첫 URL 적중이나 자동 근거 판정만으로 금융 정보의 사실 정확성과 사용자 안전을 보증할 수 없다.
함께 확인할 조건
- 210질의는 22개 기준질문의 바꿔쓰기이고 26건 생성 시험에는 그 기준질문이 다시 쓰였다. 한 은행·단일 실행·복수 요소 동시 변경이라 개별 요소의 기여를 알 수 없다. 자동 판정은 사람 검증이나 금융 조언의 안전성을 대신하지 않는 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.