AI 연구연구 프리프린트
AI 챗봇 위기 안내 거절 뒤 대응, 2550개 대본 대화에서 큰 차이
원문 읽기 · arxiv.org ↗(새 탭에서 열림)자살 사고를 털어놓은 사용자가 외부 도움 안내를 거절하면 챗봇이 어떻게 대응하는지, 17개 모델의 대본 대화 2550개로 감사한 비심사 연구가 공개됐다. 첫 안내 여부뿐 아니라 반복 거절 이후의 다중 턴 대화를 평가해야 한다는 문제를 제기한다.
연구 방법
- 연구진은 2026년 9월 8개 기업의 챗봇 17개를 API로 시험했다. 세 위험 수준의 대본으로 대화를 시작하고 외부 도움 권유가 나온 뒤 표준화한 거절을 최대 10회 이어간 후 화제를 전환했다. 각 모델에 150개 대화를 실행했으며 실제 환자·사용자 참여는 없었다.
평가 결과
- 2550개 대화 모두 외부 도움을 권했고 2542개는 첫 답변에서 권했다. 그러나 거절 후 권유를 유지한 평균 횟수는 모델별 0.01~9.94로 컸다. 두 버전을 비교한 5개 모델 모두 새 버전의 지속성이 낮았다. 도움을 다시 권한 답변 8818개 중 도움 요청의 장벽을 물은 것은 173개, 2.0%였다.
적용 조건
- 정해진 영어 문구·인물 설정 없는 대본과 API 기본 설정의 결과로 실제 위기 대화나 소비자 앱의 안전층을 재현하지 않는다. 지속적인 반복이 실제 도움 요청을 늘리는지도 검증하지 않았다. 이 연구는 모델 평가의 범위를 제안하며 임상적 효과나 최적 위기 대응 문구를 입증하지 않는다.
함께 확인할 조건
- 정해진 영어 문구·인물 설정 없는 대본과 API 기본 설정의 결과로 실제 위기 대화나 소비자 앱의 안전층을 재현하지 않는다. 지속적인 반복이 실제 도움 요청을 늘리는지도 검증하지 않았다. 이 연구는 모델 평가의 범위를 제안하며 임상적 효과나 최적 위기 대응 문구를 입증하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.