AI 연구기술 블로그
Ai2, LLM 결정의 인구집단별 흔들림 측정하는 FairStress 공개
원문 읽기 · Ai2 / Hugging Face ↗(새 탭에서 열림)FairStress는 같은 근거의 결정을 인구집단별로 얼마나 쉽게 뒤집는지 평가한다.
과제와 측정
- 전체15모델은 Qwen2.5-7B-Instruct·Llama-3.1-8B-Instruct·Gemma-3-27B-it·Gemma-4-31B-it·GPT-4o-mini·Tulu-3.1-8B와 OLMo-3-7B·OLMo-3.1-32B·Tulu-3-8B의 SFT/DPO/최종 단계다.
- 보고 수치는 네 정체성 조건이 공유하는 19영역에서 비교한 평균이다.
결과와 해석 조건
- 정답 포기 격차는 암시 정체성6.9·명시 라벨9.3%포인트다.
- 더 약한 소수자 코딩 후보를 지지하는 설득에서, 반대 조건보다 근거가 강한 선택을 더 쉽게 포기하는 방향이다.
함께 확인할 조건
- 평등 중심 정의·합성 상황의 결과이며 실제 채용·대출 차별률이 아니다.
- Claude Opus 5·GPT-5.5 등의 별도 Core 평가와 본 수치를 혼합하지 않는다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
Ai2 / Hugging Face · 기술 블로그 · 검수 2026.10.21 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.