AI 연구연구 프리프린트
FrameEvidence, 사진 여러 장의 공간 추론을 짝지어 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)FrameEvidence는 같은 장면의 기준 좌표를 바꾸거나 필요한 사진을 빼고 추가해, 시각언어모델의 공간 추론이 일관되게 맞는지 평가한다.
연구 방법
- 중국어 사지선다 960문항을 320개 짝지은 세트로 구성했다. 카메라·물체·장면 기준 좌표를 바꾸는 문제와, 필수 이미지 삭제·교란 이미지 추가 문제를 분리해 개별 정답률과 세트 전체 정답률을 함께 측정했다.
평가 결과
- 시험 288문항에서 한 GPT 설정의 개별 정답률은 50.00%였지만, 세 기준 좌표를 모두 맞힌 최고 설정은 48세트 중 5세트(10.42%)였다. 예시 제공과 과제별 미세조정으로 개별 정답률이 올라도 세트 전체의 정답이 꾸준히 늘지는 않았다.
적용 조건
- 정적인 중국어 선택형 문제의 시험 세트 96개로 평가했다. 학습·시험에 서로 다른 이미지라도 동일 장면이 남을 수 있고, 문항 메타데이터와 삭제 뒤 이미지 순서 변화가 답에 영향을 준다. 실제 현장 장면의 일반화나 독립적인 모든 라벨 검증을 입증하지 않는다.
함께 확인할 조건
- 정적인 중국어 선택형 문제의 시험 세트 96개로 평가했다. 학습·시험에 서로 다른 이미지라도 동일 장면이 남을 수 있고, 문항 메타데이터와 삭제 뒤 이미지 순서 변화가 답에 영향을 준다. 실제 현장 장면의 일반화나 독립적인 모든 라벨 검증을 입증하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.