AI 연구연구 프리프린트
RoleQ, 언어모델 삼진 양자화의 스케일을 기능별로 배치
원문 읽기 · arxiv.org ↗(새 탭에서 열림)RoleQ는 트랜스포머 벡터의 읽기·쓰기 역할에 맞춰 저비트 양자화 스케일 축을 정한다.
배경·방법
- 기존 가중치 행렬의 배열 방향 대신 잔차 흐름을 읽는 벡터와 쓰는 벡터의 기능으로 스케일 축을 정한다. 회전·삼진 GPTQ·짧은 스케일 증류를 결합한 RoleQ-T는 기존 체크포인트를 삼진 가중치로 전환한다.
실험 근거
- Qwen3-8B-Base에서 1.590 resident bits per weight의 증류 후 WikiText2 perplexity 11.33, 7개 과제 zero-shot 평균 60.33, MMLU 47.59를 보고했다. 선택적 두 번째 삼진 평면을 더한 2.157비트 조건의 MMLU는 62.75였다. 결과는 저자들의 비교와 두 시드 평균이다.
적용 조건
- 역할별 배치의 이점은 회전된 기저에서 확인됐다. 저자들은 실제 추론 속도·생성·장문 추론을 평가하지 않았고, 동등 비트의 다른 코드북 방식이 Llama 조건에서 앞선다고 밝혔다.
함께 확인할 조건
- arXiv 프리프린트이며 네 모델 크기와 두 계열 중심의 실험이다.
- 저장량과 품질을 평가했으며 실제 추론 속도·긴 추론 생성은 측정하지 않았다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어집를 참고할 수 있다.