AI 연구연구 프리프린트
AI 텍스트 평가, 점수 눈금만 바꿔도 다섯 문서 중 하나의 분류가 달라졌다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)정치 성향·감정·유해성을 AI로 점수화할 때 같은 글이라도 평가 눈금의 형식, 범위, 음수 허용 여부에 따라 결과가 흔들린다는 연구다.
연구 방법
- 연구진은 사람 라벨이 있는 영어 텍스트 1만1700개를 바탕으로 3개 과제, 5개 모델, 2개 프롬프트 방식에서 연속·정수 점수, 3·5·11·21단계, 양수·부호 있는 눈금을 교차 시험했다. 숫자 변화와 범주 변화는 별도로 계산했다.
평가 결과
- 눈금의 한 요소만 바꿀 때 정규화 점수 차이는 평균 약 0.10, 범주가 달라지는 글은 약 18~20%였다. 자세한 채점 기준을 주는 방식도 단순 지시보다 민감도를 줄이지 못했다. 연구진은 대체 눈금으로 강건성을 다시 검사하라고 권고한다.
적용 조건
- 영어 데이터의 세 가지 사회적 텍스트 평가만 다뤘으며 다른 언어·문화·과제에 그대로 적용할 수 없다. 비교한 프롬프트는 zero-shot과 기준표 방식뿐이고, 점수 안정성이 사람 판단의 타당성까지 보장하지 않는다.
함께 확인할 조건
- 영어 데이터의 세 가지 사회적 텍스트 평가만 다뤘으며 다른 언어·문화·과제에 그대로 적용할 수 없다. 비교한 프롬프트는 zero-shot과 기준표 방식뿐이고, 점수 안정성이 사람 판단의 타당성까지 보장하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.