AI 인프라·추론기술 블로그
AWS·vLLM, KV push 전송으로 추론 첫 토큰 지연 개선
원문 읽기 · AWS Machine Learning Blog ↗(새 탭에서 열림)AWS가 prefill→decode KV 전송을 pull에서 push로 바꾼 vLLM 기능을 설명했다.
구조
- decode가 대상 블록을 미리 등록하고 prefill의 배경 스레드가 NIXL WRITE를 수행한다. 이 글은 다중 턴 역전송 글과 다른 경로를 다룬다.
벤치마크
- Qwen3-32B, P5en·EFA 1P1D에서 8QPS·16k 입력 TTFT가 약 1744→540ms다. TPOT도 최악 조건에서 약 10.4→7ms다.
제약
- 출력 128토큰, decode의 접두 캐시 비활성 조건이다. 조기 decode 선택은 부하 기반 라우팅과 양방향 KV 전송에 제약을 준다.
함께 확인할 조건
- Qwen3-32B·P5en·EFA 1P1D, 입력 1k~16k, 1~8QPS, 출력 128토큰, decode 접두 캐시 비활성 시험이다.
- decode 대상을 일찍 정해야 하며 현재 양방향 KV 재사용이나 사후 부하 기반 decode 선택에는 pull 경로가 필요하다.
출처와 편집 기준
AWS Machine Learning Blog · 기술 블로그 · 검수 2026.10.20 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.