AI 연구연구 프리프린트
ImpactBench, AI가 사용자에게 보이는 행동을 809개 기준으로 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)ImpactBench는 AI 대화가 사용자의 심리·신체·사회적 안녕에 도움이 되거나 해로운 행동을 보이는지 평가한다.
연구 방법
- 전문가 구성과 기존 26개 벤치마크에서 809개 행동 지표를 만들고 청소년·성인 시나리오를 맞춰 모의 다중 대화를 평가했다. 열 개 모델의 4만8540개 대화를 판정 모델과 전문가 검토로 살폈다.
평가 결과
- 바람직한 행동을 보인 비율은 68.7%, 해로운 행동을 피한 비율은 53.1%였다. 전문가 다수 의견은 검토 사례의 83.3%에서 자동 판정과 일치했다.
적용 조건
- 모의 대화의 행동 지표이며 사용자의 건강·자율성 같은 실제 장기 결과를 측정한 것은 아니다. 이진 판정과 지표 가중치, 제한된 언어·문화·인구집단이 해석 범위를 좁힌다.
함께 확인할 조건
- 모의 대화의 행동 지표이며 사용자의 건강·자율성 같은 실제 장기 결과를 측정한 것은 아니다. 이진 판정과 지표 가중치, 제한된 언어·문화·인구집단이 해석 범위를 좁힌다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.