AI 연구연구 프리프린트
Muon과 AdamW, 데이터 절약과 학습 시간의 승자가 달랐다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)Muon은 같은 데이터에서 더 낮은 손실을 보였지만, 같은 시간의 언어모델 실험에서는 AdamW가 앞섰다.
연구 방법
- 연구진은 단일 A100에서 1,770만·3,360만 매개변수 언어모델과 270만 매개변수 비전 모델을 비교하고, 두 최적화기에 같은 23개 후보 탐색 예산과 다섯 쌍의 시드를 적용했다.
평가 결과
- 같은 데이터의 검증 손실 곡선 면적은 Muon이 3.25~22.44% 낮았다. 같은 학습 시간에는 비전에서 Muon이 19.68~22.31% 앞섰지만 언어모델에서는 AdamW가 3.38~6.96% 앞섰다.
적용 조건
- 기준 구현에서 Muon 최적화기 호출은 학습 시간의 56.1~69.6%를 차지했다. 작은 모델·참조 커널·단일 GPU 결과로, 최적화된 커널이나 대형 모델의 우열을 단정할 수 없다.
함께 확인할 조건
- 기준 구현에서 Muon 최적화기 호출은 학습 시간의 56.1~69.6%를 차지했다. 작은 모델·참조 커널·단일 GPU 결과로, 최적화된 커널이나 대형 모델의 우열을 단정할 수 없다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.