AI 인프라기술 블로그
AWS, SageMaker에서 llama.cpp 의사결정 모델 배포·측정 사례 공개
원문 읽기 · aws.amazon.com ↗(새 탭에서 열림)AWS는 SageMaker AI에서 llama.cpp 모델을 배포하고 SemIf 확장을 통해 정해진 선택지별 확률을 반환하는 사례를 설명했다. 공개 과제 231개를 이용해 CPU와 GPU 엔드포인트의 지연과 정확도를 비교했다.
배포 구조
- 기본 경로는 llama.cpp 컨테이너로 채팅 완성을 제공한다. SemIf 확장은 자식 컨테이너를 만들어 최종 로짓에서 선택지별 확률을 계산한다.
- 응용 프로그램은 안정적인 선택지 ID를 이용해 임계값과 대체 처리 규칙을 적용할 수 있다. 권한과 결정적 업무 규칙은 모델 밖에서 관리해야 한다.
측정과 한계
- 231개 JevBench 과제에서 Qwen3.5-4B CPU 구성은 179건, GPU 구성은 180건을 맞혔다. p95 지연은 각각 19.291초와 0.599초였다.
- 두 런타임의 빌드가 달라 정답 차이는 품질 향상의 증거가 아니다. 자체 의사결정 자료로 모델과 인프라 전체를 다시 측정해야 한다.
함께 확인할 조건
- 측정은 Qwen3.5-4B 양자화 모델과 특정 CPU/GPU 인스턴스에서 수행한 AWS 자체 시험이며 서비스 보장이 아니다.
- CPU와 GPU는 llama.cpp 빌드가 달라 1건의 정답 차이를 GPU 품질 개선으로 해석할 수 없다.
출처와 편집 기준
aws.amazon.com · 기술 블로그 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어 안내를 참고할 수 있다.