AI 연구연구 프리프린트
혼합 전문가 AI의 개인화 취향, 일부 전문가 경로로 추적
원문 읽기 · arxiv.org ↗(새 탭에서 열림)연구진은 혼합 전문가 언어모델이 문체·배경지식 같은 개인화 선호를 어떤 내부 전문가 경로에 담는지 분석했다.
연구 방법
- 세 공개 혼합 전문가 모델을 선호 데이터로 적응시킨 뒤, 적응 전후의 내부 활성값을 함께 읽는 crosscoder로 개인화 관련 특징을 추출했다. 특징과 전문가 경로가 함께 바뀌는지 조사하고 활성값 교체·전문가 강화로 답변 행동 변화도 시험했다.
평가 결과
- Qwen3-30B-A3B의 한 설정에서 특징별 전문가 경로의 재표본 안정성은 0.81, 서로 다른 특징의 경로 구분성은 0.94였다. 개인화 특징을 삽입하거나 관련 전문가를 강화하면 비개인화 모델의 출력 분포가 개인화 모델 쪽으로 이동했다.
적용 조건
- 분석은 각 모델에서 선택한 한 층과 영어의 합성 집단 선호에 집중한다. 실제 개인 사용자의 장기 대화에서 같은 구조가 유지되는지 불명확하고, 비교한 밀집 모델과 사전학습 자료 차이도 완전히 분리되지 않았다.
함께 확인할 조건
- 분석은 각 모델에서 선택한 한 층과 영어의 합성 집단 선호에 집중한다. 실제 개인 사용자의 장기 대화에서 같은 구조가 유지되는지 불명확하고, 비교한 밀집 모델과 사전학습 자료 차이도 완전히 분리되지 않았다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.