AI 인프라·음성기술 블로그
Deepgram·AWS, Trainium2 음성 추론 비용 실험 공개
원문 읽기 · AWS Machine Learning Blog ↗(새 탭에서 열림)Deepgram과 AWS가 Nova-3 오프라인 전사를 Trainium2에 이식한 자체 사례다.
설계
- PyTorch 모델을 Neuron으로 컴파일하고 커널을 튜닝했다. trn2.3xlarge 한 대에서 복제본 8개를 Rust 런타임으로 처리한다.
측정
- 배치 1~128을 훑었다. 자체 기존 컴퓨트보다 오디오/달러 11~70% 높았고 최적 배치의 Rust 처리량은 Python 다중프로세스보다 7.5% 높았다.
해석 한계
- 기존 컴퓨트 종류·절대 처리량·가격 시각은 없고 온라인 음성 에이전트 지연은 시험하지 않았다. WER 수치도 공개되지 않았다.
함께 확인할 조건
- 11~70% 오디오/달러 개선은 Deepgram의 오프라인 배치·당시 인스턴스 가격·기존 자체 컴퓨트 대비다. 비교 장비·절대 처리량은 미공개다.
- 배치 1~128을 시험했고 WER은 참조값과 대조했으나 수치는 없다. 온라인 저지연·다른 모델·지역에 일반화할 수 없다.
출처와 편집 기준
AWS Machine Learning Blog · 기술 블로그 · 검수 2026.10.20 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.