AI 연구연구 프리프린트
AI의 확신 점수, 보정 뒤에도 남는 오류를 따로 검사해야 한다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)RADAR는 AI 답변의 확신 점수를 다시 맞추는 일과 그 보정을 채택할지 판단하는 일, 보정 후 남는 집단별 오류를 찾는 일을 분리한다.
연구 방법
- 점수 하나만 바꾸면 그 숫자에 담기지 않은 문항 특징의 오류는 복구할 수 없다는 위험 분해를 제시한다. PAIC는 원래 점수와 별도의 정답성 예측기를 활용해 라벨 없는 대상 문항에서도 단조 보정 함수를 맞추고, 이후 별도 라벨과 통계 검정으로 채택·잔여 오류를 평가한다.
평가 결과
- 저장된 점수 배분 4만7400회 비교에서 쌍별 베팅 방식은 테스트 위험이 낮은 후보를 42.95%에 채택했고, 비교한 단측 경험적 Bernstein 방식은 15.09%였다. 다만 점수 손실이 줄어도 실제 검토·수락 결정이 나아지지 않는 사례도 제시했다.
적용 조건
- 수학적 채택 보장은 독립적인 대상 라벨 표본과 미리 고정된 후보·오류 예산 등 가정에 달려 있다. 재현 코드·데이터는 채택 뒤 공개 예정이며, 보정 검사를 통과해도 고위험 영역의 안전성을 뜻하지 않는다.
함께 확인할 조건
- 수학적 채택 보장은 독립적인 대상 라벨 표본과 미리 고정된 후보·오류 예산 등 가정에 달려 있다. 재현 코드·데이터는 채택 뒤 공개 예정이며, 보정 검사를 통과해도 고위험 영역의 안전성을 뜻하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.