AI 인프라기술 블로그
AWS, Ray LLM 컨테이너로 두 노드 추론 구성 공개
원문 읽기 · aws.amazon.com ↗(새 탭에서 열림)AWS는 Ray LLM 다중 노드 컨테이너를 사용해 EKS의 GPU 노드 두 대에 프리필과 디코드를 분리하는 사례를 공개했다. KV 캐시 전송과 서비스 구성을 제공하지만 분리 방식의 성능 우위를 측정한 결과는 없다.
구성과 전송 경로
- CPU 노드가 Ray 헤드를 맡고 g6.8xlarge GPU 노드 두 대가 각각 프리필과 디코드를 실행한다. Ray Serve LLM이 단일 OpenAI 호환 엔드포인트로 두 단계를 연결한다.
- NIXL의 LIBFABRIC 백엔드가 EFA를 통해 KV 캐시를 옮긴다. 해당 설정이 없으면 UCX의 TCP 속도 경로로 돌아갈 수 있어 실행 로그에서 백엔드를 확인해야 한다.
운영 조건과 한계
- GPU 노드와 EFA는 한 가용 영역에 두고 충분한 인스턴스 할당량과 비용을 확보해야 한다. 원문의 구성은 직접 실행한 독립 검증 결과가 아니다.
- 분리 전후의 처리량·지연 비교 수치가 없다. 업무 부하의 입력 길이와 KV 캐시 전송 비용을 포함해 별도로 측정해야 한다.
함께 확인할 조건
- AWS 게시물은 분리 전후 처리량이나 지연 시간을 비교한 실험 결과를 제시하지 않는다.
- 예시는 EKS, 두 g6.8xlarge 노드, 단일 가용 영역의 EFA 및 유료 리소스 조건에 한정된다.
출처와 편집 기준
aws.amazon.com · 기술 블로그 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어 안내를 참고할 수 있다.