AI 연구연구 프리프린트
프롬프트가 달라질 때 AI 내부 특징은 어떻게 이동하나…RSS 제안
원문 읽기 · arxiv.org ↗(새 탭에서 열림)뜻이 비슷한 프롬프트라도 언어모델의 희소 특징 활성은 다른 곳으로 옮겨갈 수 있다. 연구진은 한 입력에서만 튀는 변화와 여러 변형에서 같은 방향으로 반복되는 변화를 가르는 RSS 지표를 제안했다.
연구 방법
- RSS는 변화 크기, 반복 빈도, 방향 일관성을 함께 사용해 희소 오토인코더 특징을 고른다. 선택에 쓰지 않은 프롬프트 변형에서도 그 특징의 반응을 확인한 뒤, 고정된 선형 안전 판독기의 가중치·정렬·원래 판정 여유를 따로 분석한다. 따라서 표현 변화가 곧 행동 실패라고 가정하지 않는다.
평가 결과
- 8개 언어모델에 걸친 27개 사전학습 SAE에서 반복되는 변화 양상이 선택 제외 변형에서도 관찰됐다. 두 고정 안전 판독기에서 중앙값 20개·19개 특징을 쓴 오프라인 반복 실패 탐지 AUROC는 0.935·0.958이었고 전체 특징 변화 사용 시 0.965·0.964였다. 선택 특징을 복원하면 변형 때문에 생긴 판독 오류의 약 72%가 뒤집혔다.
적용 조건
- 기능 결과는 고정 선형 판독기와 시험한 프롬프트 변형에 한정되며, 주요 보류 평가는 같은 변형 연산의 새 실현이다. 실제 모델의 안전 실패를 직접 막았다는 증거는 아니다. 같은 연구진의 특징 상호작용 연구와 주제는 닿지만 이 논문은 표현 재분배의 반복성과 판독 여유를 별도로 검증한다.
함께 확인할 조건
- 기능 결과는 고정 선형 판독기와 시험한 프롬프트 변형에 한정되며, 주요 보류 평가는 같은 변형 연산의 새 실현이다. 실제 모델의 안전 실패를 직접 막았다는 증거는 아니다. 같은 연구진의 특징 상호작용 연구와 주제는 닿지만 이 논문은 표현 재분배의 반복성과 판독 여유를 별도로 검증한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.