AI 연구연구 프리프린트
AI 실험 두세 번의 무차이, 동등성 증명으로 볼 수 없다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)반복 실행 두세 번의 점수 차이가 유의하지 않은 경우, 그 결과만으로 두 방법이 실용적으로 동등하다고 선언할 수 없다는 실험 설계 연구다.
문제와 설계
- 연구진은 학습 시드 간 점수 변동과 같은 시험 항목을 평가할 때의 노이즈를 분리했다. 허용 가능한 점수 차이를 먼저 정하고 두 단측 검정으로 동등성을 판정하며, 분산과 원하는 검출력에서 방법별 반복 수를 계산한다.
검증 근거
- 270조건 시뮬레이션과 CIFAR-10의 1000시드, MultiBERTs의 독립 사전학습시드 25개 사례로 공식을 점검했다. 한 AUROC 비교에서는 ±0.01 허용 차이와 실제 동일 성능을 가정할 때 80% 검출력에 방법당 12회가 계산됐다. 두 번씩 실행한 원래 비교는 모형 보정 시뮬레이션에서 동등성 판정확률 약 2.6%였다.
적용 조건
- 12회는 일반 기준이 아니라 사례의 불확실한 분산 추정값에 따른 대략적 설계 수다. 같은 사례도 실제 차이를 관측치 0.0056으로 놓으면 약 42회가 필요하다. 소규모 예비 실행으로 분산을 추정한 뒤 허용 차이와 시드 분포에 맞춰 다시 설계해야 한다.
함께 확인할 조건
- 12회는 특정 AUROC 공개 사례에서 관측한 분산, 허용 차이 ±0.01, 실제 차이 0 및 80% 검출력에 대한 조건부 설계값이다. 관측 분산 자체가 방법당 2회에서 추정되어 불확실성이 크며, 실제 차이가 0.0056이면 같은 검출력에 약 42회가 필요하다. 다른 데이터·모델·허용 차이에는 재산정해야 한다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.