AI 안전성연구 프리프린트
영상 언어 모델의 과잉 거절을 줄이는 CNRF 선택적 방어 실험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)CNRF는 영상 언어 모델의 위험 점수와 참고 사례가 해당 요청에 맞는지를 분리해, 추가 검토할 요청을 고르는 방식이다.
제안한 판단 방식
- 맥락을 맞춘 안전·위험 비교 사례의 표현 차이를 위험 판단에 쓰고, 현재 요청과 참고 사례가 얼마나 가까운지는 별도로 추정한다.
- 선별된 요청은 같은 영상 언어 모델의 후보 답변을 다시 검토한다. 검토를 거친 정상 답변은 허용하고 그 밖에는 제한된 대안을 만든다.
시험 결과
- Qwen2.5-VL-7B, Gemma-3-12B, InternVL3-8B에서 다섯 멀티모달 공격 계열과 정상 작업 평가를 실행했다. 각 모델의 평가 패널은 3,159개 입력이었다.
- 다섯 공격 계열 평균 방어 성공률은 Qwen 88.57%, Gemma 86.06%, InternVL 89.30%였다. Qwen의 정상 MM-Vet 점수는 기본 68.19에서 63.25로 낮아져 안전성과 효용을 함께 읽어야 한다.
적용 범위
- 결과는 저자들이 정한 모델·자료·판정 모델에서 얻은 수치다. 독립적으로 새로 수집한 요청에 대한 전향 검증은 수행하지 않았다.
- 추가 검토는 응답 시간과 GPU 메모리를 사용하며, 모델과 공격 계열에 따라 방어율과 정상 작업 점수가 달라졌다.
함께 확인할 조건
- 논문은 선택한 평가군과 언어 모델 판정자에 따른 비교이며 독립적인 전향 표본 검증은 별도 과제라고 명시한다.
- 모델별 정상 작업 점수에는 차이가 있어 모든 요청에 같은 이득이 있다는 결론은 아니다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.