AI 안전성연구 프리프린트
범죄 사례 기반 다국어 평가에서 요청 맥락에 따라 AI 안전성이 달라졌다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)GUISE 연구는 같은 안전 위험도 요청을 어떻게 표현하고 문화권에 맞추는지에 따라 모델 판정 결과가 달라질 수 있음을 보였다.
평가 설계
- 연구진은 공개 보도를 바탕으로 식별 요소를 제거한 2,250개 질문을 다섯 언어·문화권과 세 요청 맥락으로 구성했다. 여섯 모델의 13,500개 응답을 평가했다.
- 언어별로 일부 응답을 사람이 판정하고 그 일치도를 기준으로 자동 판정 모델을 골랐다. 연구 자료의 원문 질문과 모델 응답은 공개를 제한했다.
발견
- 연구진 기준 위험한 응답 비율은 직접 요청 평균 28.9%에서 사실 교정 맥락 평균 66.4%로 높아졌다. 다만 언어별 유의성은 같지 않았고 그리스어에서는 다수 비교가 유의 수준에 못 미쳤다.
- 비영어권 네 곳에서 문화에 맞춘 문구는 단순 번역보다 위험한 응답 판정 비율이 7~18%포인트 높았다. 저자들은 번역 품질과 위험성 전달 정도가 영향을 줬을 가능성도 인정한다.
한계와 적용
- 여섯 모델과 다섯 문화권의 결과는 전반적인 모델 안전성이나 실제 범죄 영향으로 일반화할 수 없다. 특히 교정 맥락의 판정자 일치도는 다른 조건보다 낮았다.
- 다국어 안전성 시험에서는 동일 문장의 번역만이 아니라 현지 표현과 요청 맥락을 함께 평가할 필요가 있다는 연구상의 시사점이다. 논문은 완화 기법의 효과를 시험하지 않았다.
함께 확인할 조건
- 여섯 모델·다섯 문화권의 수작업 표본이므로 다른 언어와 모델로 일반화할 수 없다.
- 응답 전부를 사람이 판정하지 않았고 특정 요청 맥락은 판정자 간 일치도가 더 낮았다. 실제 범죄 결과는 조사하지 않았다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.