모델·연구developer.nvidia.com
NVIDIA·Princeton, 하이브리드 모델 추론의 상태 저장을 줄이는 ReplaySSM 공개
NVIDIA와 Princeton Dao AI Lab이 상태공간모델 층의 추론 상태를 체크포인트와 최근 입력 버퍼로 나누는 ReplaySSM을 설명했다. 반복적인 상태 쓰기를 줄이고 투기 디코딩 롤백을 단순화한다.
저장 방식
- 기존 방식은 매 토큰마다 큰 상태를 읽고 갱신해 저장한다. ReplaySSM은 최근 입력을 버퍼에 쌓고 버퍼가 찼을 때 체크포인트를 갱신한다.
- 투기 디코딩에서는 미채택 초안 토큰의 상태를 복원하는 대신 버퍼 포인터를 옮겨 되돌린다.
측정과 정확도
- 배치 256의 네 모델 실험에서 커널 속도는 1.46~1.80배, 전체 디코드 단계는 1.20~1.47배였다.
- 120B급 두 모델을 각 B300 한 대에서 실행한 GSM8K·배치512 투기 디코딩 실험에서는 처리량이 1.85~2.10배였다. 고정밀 갱신 체크포인트와 저정밀 읽기 사본을 분리해 오차 누적도 줄였다.
함께 확인할 조건
- 배치 1에서는 보고된 속도 향상이 없었습니다.
- 성능은 연구진의 GPU·모델·배치 조건에 한정됩니다.
판단의 근거는 원문에서
developer.nvidia.com ↗https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/요약은 원문의 핵심을 정리한 내용이며, 인사이트는 ABLE의 편집 해석입니다.