AI 연구연구 프리프린트
그럴듯한 설명만 붙여도 멀티모달 AI 심사자의 오답 거부가 줄었다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)시각 근거가 있어도 답과 함께 제시된 설명이 그럴듯하면 AI 심사자가 오답을 더 쉽게 받아들일 수 있다는 통제 실험이다.
설계와 비교
- JUPE는 의료 영상 질문·차트·시각 환각 질문에서 주된 180개 질의를 골라 정답 84개와 오답 96개의 이미지·질문·후보 답을 고정했다. 14개 멀티모달 판정 모델에 설명 없음, 평범한 정당화, 추론형 설명, 의도적 설득 등을 바꿔 제시했다.
관찰된 판정 변화
- 평범한 정당화는 오답 거부율을 평균 12.7%포인트, 추론형 설명은 13.8%포인트 낮췄다. 의도적 설득 설명의 12.5%포인트와 비슷했다. 정답 수용도 증가해 평균적으로 수용 기준이 이동했으며, 구분 능력이 개선됐다는 근거는 분명하지 않았다.
적용 조건
- 수치는 14개 모델 평균이며 개별 모델 중에는 오답 거부가 증가한 예외가 있다. 판정자는 참고 정답 없이 이미지와 후보 답을 평가했다. 실제 평가 파이프라인에 옮길 때는 정답·오답 수용률을 나눠 측정하고 설명 생성 방식과 판정 모델을 함께 검증해야 한다.
함께 확인할 조건
- 12.7·13.8·12.5%포인트는 주된 VQA 질의 180개 중 오답 96개에 대한 14개 판정 모델 평균의 설명 없음 대비 오답 거부율 변화다. 오답 수용과 정답 수용이 함께 늘어 전체 정확도만으로 현상을 설명할 수 없으며 개별 모델은 역방향도 있다. 참조 정답을 판정자에게 주지 않는 통제 조건과 특정 이미지 자료의 결과이고 실제 배포 전반으로 일반화할 수 없다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.