AI 안전성연구 프리프린트
이미지·텍스트 안전성 위험에 확인 질문을 더한 SAFE-PRO 실험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)SAFE-PRO는 이미지와 문장을 함께 읽을 때 위험한 의도를 추정해 답하기 전에 확인 질문을 선택하도록 모델을 학습한다.
자료와 방법
- 기존 SSUI에서 3,912개 모호한 사례를 만들고, 안전한 의도와 위험한 의도의 모의 사용자 답변을 붙여 7,824개 대화 경로로 확장했다. 사례는 사람 검토를 거쳤다.
- 모델은 불확실성과 별도 위험 점수를 함께 사용해 질문 시점을 고르고, 학습 중에는 위험한 추론 분기를 조정한다. 추론 시에는 질문 선택 절차만 활성화된다.
실험 결과
- Qwen2.5-VL-7B 기반 설정에서 5개 단일 대화 평가의 안전 점수 평균은 SRPO의 76.18에서 SAFE-PRO의 82.77로 높아졌다. 해로운 응답 점수 평균은 12.67에서 7.64로 낮아졌다.
- 별도 MOSSBench에서 과잉 거절률은 SRPO 38.4%, SAFE-PRO 19.7%였다. 자체 SSUI-Dialog 시험에서도 위험한 답변 비율은 41.20%에서 15.83%로 낮아졌다.
해석 범위
- 데이터와 평가에는 생성된 모의 대화가 포함된다. 상용 모델과의 표 비교는 각 논문의 고정 조건을 재사용했으며 실서비스에서의 인과적 우위를 증명하지 않는다.
- 이론적 안전 경계는 위험 점수의 보정 가정에 의존한다. 저자도 평균 보정 오차가 그 가정을 보증하지 않는다고 밝혔다.
함께 확인할 조건
- SSUI-Dialog는 기존 자료와 모델 생성·모의 사용자 답변을 바탕으로 하며 실제 사용자 대화가 아니다.
- 수치 비교는 지정된 벤치마크와 두 기본 모델·학습 조건에 한정된다. 이론적 안전 경계는 위험 점수 보정에 대한 가정을 필요로 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.