AI 연구연구 프리프린트
AI 선택지 순서가 판단을 바꾸는 문제, 독립 채점 구조로 해결
원문 읽기 · arxiv.org ↗(새 탭에서 열림)Prism-1은 AI가 도구나 페이지 요소를 고를 때 선택지 순서와 새 선택지 추가 때문에 기존 선택이 바뀌는 문제를 구조적으로 막는다.
연구 방법
- 공유 질문 뒤에 각 선택지를 같은 위치의 독립 블록에 놓고, 다른 선택지를 보지 못하는 주의 마스크로 각각 점수를 얻는다. 점수의 소프트맥스가 최종 분포를 만들므로 순서 불변성과 기존 선택지 간 상대 비율 보존이 구조적으로 성립한다.
평가 결과
- Qwen3-8B와 Gemma 4 12B를 5개 평가에 시험했을 때, 같은 자료로 학습한 보통 단일선택 프롬프트는 한 번 재정렬에 답 7%가 바뀌었지만 Prism-1은 0%였다. 평균 정확도는 Gemma에서 0.9%포인트 낮고 Qwen에서는 같았다.
적용 조건
- 미세조정이 필요하고 선택지끼리 비교해야 하는 '다음 중 특이한 것' 같은 과제에는 맞지 않는다. 최대 20개 선택지, 두 모델에서 평가했으며 상태 입력 자체의 오염은 막지 못한다. 비심사 프리프린트다.
함께 확인할 조건
- 미세조정이 필요하고 선택지끼리 비교해야 하는 '다음 중 특이한 것' 같은 과제에는 맞지 않는다. 최대 20개 선택지, 두 모델에서 평가했으며 상태 입력 자체의 오염은 막지 못한다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.