AI 연구연구 프리프린트
Trainium2 확산 모델 엔진, 네 모델은 빨라졌지만 비디오 예외도 있었다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)확산 모델을 Trainium2에 배치할 때 커널 속도와 실제 요청 지연은 같은 방향으로 움직이지 않았다.
배경과 엔진
- Difflet은 FLUX·Qwen-Image·Wan·HunyuanVideo·LTX-2의 서로 다른 파이프라인을 공통 컴파일 백엔드에 연결한다. 주의집중 연산을 코어 간에 나누고, 호스트가 확산 단계마다 이전 출력을 재사용할지 결정하며, 상주 프로세스가 컴파일된 프로그램을 요청 사이에 유지한다.
측정 결과
- 컴파일된 네 모델의 주의집중 커널 단계는 같은 프레임워크의 PyTorch/XLA 구현보다 1.24~4.28배 빨랐다. 네 모델의 상주 요청은 warm 단독 실행보다 1.49~3.35배 빨랐다. 그러나 Wan 81프레임은 상주 요청이 1,245초로 단독 974초보다 느렸고, 32.8천 시각 토큰에서 비교 SDPA는 컴파일 한계를 넘었다.
운영 조건
- Wan 상주 경로는 비디오 디코딩을 호스트에서 수행해 약 520초를 쓰는 반면 단독 경로는 장치 디코딩 약 126초를 썼다. 최초 컴파일은 모델별 16.7~85.8분이다. 이 수치로 다른 가속기나 실제 서비스 비용의 우위를 주장할 수 없으며 모델 형상·메모리·컴파일러 제약을 재측정해야 한다.
함께 확인할 조건
- 1.24~4.28배는 같은 Trainium2 프레임워크에서 주의집중 구현만 비교한 단계 시간이고, 1.49~3.35배는 재로딩하는 warm 단독 실행 대비 네 모델의 요청 시간이다. Wan 81프레임 SDPA는 컴파일되지 않아 같은 커널 속도비가 없다. 특정 모델·형상·칩의 실험이며 GPU 대비 가격·성능이나 클라우드 비용을 직접 비교하지 않았다. 비심사 프리프린트다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.