AI 인프라기술 블로그
AWS, MoE 추론 커널 최적화와 H200 성능 측정 공개
원문 읽기 · aws.amazon.com ↗(새 탭에서 열림)AWS는 MoE(혼합 전문가 구조) 추론에서 GPU 행렬 배치, FP8 백엔드 선택, Triton 커널의 불필요한 재컴파일을 개선했다. H200 자체 시험에서 각각의 처리량과 첫 토큰 지연 변화를 측정하고 일부 변경을 vLLM에 반영했다.
세 가지 병목과 변경
- 토큰 행이 적은 디코드 단계에서 Hopper의 64행 연산 슬롯을 채우도록 행렬 피연산자 배치를 바꿨다. AWS는 H200의 전체 출력 처리량이 2~4% 올랐다고 보고했다.
- FP8 양자화 MoE에는 Triton 백엔드를 선택해 H200 처리량 10% 개선을 측정했다. 가변 토큰 수를 컴파일 상수로 취급하지 않아 8방향 텐서 병렬 구성의 첫 토큰 시간을 9% 줄였다고 밝혔다.
적용 버전과 해석
- 행렬 배치 변경은 vLLM 0.24.0 이상, 재컴파일 제거는 vLLM 0.22.0 이상에 반영됐다. FP8 백엔드 선택은 AWS LMI v28에 적용됐다.
- 개선율은 AWS의 특정 H200 시험 결과다. 서로 다른 경로의 비율을 더하거나 다른 하드웨어의 성능으로 일반화할 수 없다.
함께 확인할 조건
- 수치는 AWS가 선택한 H200 및 MoE 모델·부하 구성의 자체 측정이며 모든 모델과 GPU의 보편적 개선률은 아니다.
- 처리량 10%와 첫 토큰 시간 9%는 서로 다른 최적화의 결과로 단순 합산할 수 없다.
출처와 편집 기준
aws.amazon.com · 기술 블로그 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어 안내를 참고할 수 있다.