AI 연구연구 프리프린트
이미지 속 ‘없는 물체’ 묻자 정확도 하락…시선처럼 보이는 주의력도 설명력 제한
원문 읽기 · arxiv.org ↗(새 탭에서 열림)이미지를 보고 ‘파란 물체가 없다’고 답할 때 모델이 실제로 다른 물체를 찾는지 확인하기는 어렵다. 연구진은 비전언어모델 여섯 개의 이미지 객체별 주의력과 긍정·부정 질문 정확도를 비교하고, 사람의 시선 이동 연구와 유사한 패턴이 나타나는지 살폈다.
연구 방법
- LLaVA-1.5, InternVL3.5, PaliGemma2의 두 크기씩을 합쳐 여섯 모델을 비교했다. 두 물체와 네 물체의 합성 그림, 실제 사진 기반 What’sUp 자료에서 질문의 긍정·부정 형태를 바꾸고 객체 주의력과 정답을 측정했다. 사람 시선은 시간에 따른 움직임인 반면 모델 주의력은 정적인 값이라 직접 동일시하지 않았다.
평가 결과
- 여섯 모델 모두 부정문이 포함된 질문에서 긍정문보다 전체 정확도가 낮았다. PaliGemma2-3B는 일부 층에서 대체 물체로 주의력이 옮겨간 듯했지만 주의력 머리를 제거한 실험은 이것이 부정 처리의 원인이라는 해석을 지지하지 않았다. LLaVA-1.5-7B에는 왼쪽 물체를 선호하는 공간 편향도 나타났다.
적용 조건
- 합성 색상·도형 질문과 제한된 사진 자료의 행동 분석이며 실제 복잡한 장면 전체에 일반화할 수 없다. 주의력 시각화는 모델의 내부 추론이나 인간 시선을 직접 입증하지 않는다. 원문은 해결 방법이 아니라 오류와 측정상의 주의를 제시한다.
함께 확인할 조건
- 합성 색상·도형 질문과 제한된 사진 자료의 행동 분석이며 실제 복잡한 장면 전체에 일반화할 수 없다. 주의력 시각화는 모델의 내부 추론이나 인간 시선을 직접 입증하지 않는다. 원문은 해결 방법이 아니라 오류와 측정상의 주의를 제시한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.