AI 안전성연구 프리프린트
도구 사용 AI, 행동 철회와 유지 규칙은 따로 평가해야 한다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)도구 사용 AI의 전체 정확도만 보면 필요한 행동을 잘못 멈추거나 금지 조합을 놓치는 실패가 가려진다.
배경·방법
- 근거 무효화·권한 철회·복구를 명시한 합성 NAQD 환경에서 Qwen2.5-3B-Instruct의 LoRA(모델의 일부만 추가 학습하는 방식) 미세조정 모델 네 개와 지시 학습 기본 모델 세 개를 비교했다. 행동 철회, 독립적으로 허용된 행동의 유지, 복구 뒤 재개를 규칙별로 따로 확인했다.
실험 근거
- 대체 근거가 생존한 34개 행동에서 기존 교육과정 모델은 26개를 잘못 철회했고 확장 교육과정 모델 세 개는 0~1개를 잘못 철회했다. 반면 금지 조합 축소 규칙은 미세조정 모델 모두 기본 7B·8B 모델보다 적게 적용했다. 26/34 대비 일부는 저자의 앞선 탐색 연구에도 보고된 결과다.
적용 조건
- 각 조건의 훈련은 한 번뿐이고 확장 교육과정의 여러 요소가 동시에 달라졌다. 기본 모델과 미세조정 모델의 양자화도 달라 인과 효과를 분리하기 어렵다. 외부 제어기가 실제 허용 행동을 독립 검증해야 하며 이 실험만으로 배포 안전성을 인증할 수 없다.
함께 확인할 조건
- 합성 시나리오에서 실제 외부 도구는 실행하지 않았다.
- 훈련 조건당 한 번만 실행했고 추가 교육과정의 여러 요소가 함께 바뀌어 단일 원인의 효과로 단정할 수 없다.
- 기존 탐색 결과 일부를 재사용했으며 새로운 독립 재현은 아니다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어집를 참고할 수 있다.