AI 인프라·추론기술 블로그
AWS·vLLM, 다중 턴 KV 역전송으로 첫 토큰 지연 줄여
원문 읽기 · AWS Machine Learning Blog ↗(새 탭에서 열림)AWS가 vLLM의 다중 턴 대화에서 KV 재사용 경로를 공개했다.
역방향 경로
- decode가 생성 후 KV를 보존하고 라우터가 위치를 기억한다. 다음 턴 prefill은 decode에서 필요한 블록을 읽는다.
측정 조건
- P5en·EFA 1P1D, prefill 접두 캐시 비활성, 10턴이다. Qwen3-32B는 24k 입력에서 TTFT 778→460ms, GLM-5-FP8은 20k에서 2334→702ms다.
적용 경계
- 보존 시간 480초가 지나면 재계산으로 돌아간다. 모델·문맥·네트워크와 KV 메모리에 따라 이득이 바뀐다.
함께 확인할 조건
- P5en·EFA 1P1D, prefill 접두 캐시 비활성, 10턴·출력 300토큰 등 시험 조건이다. 일반 서비스의 재현 성능은 미확인이다.
- KV 보존 기본 480초와 64토큰 재계산 문턱은 메모리·전송 비용에 영향을 준다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
AWS Machine Learning Blog · 기술 블로그 · 검수 2026.10.20 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.