AI 커머스developer.nvidia.com
NVIDIA, 사용자 행동 순서를 반영한 추천 모델의 저지연 배포 경로 공개
NVIDIA가 HSTU 생성형 추천 모델을 PyTorch에서 컴파일하고 Dynamo-Triton으로 서비스하는 예제를 공개했다. 긴 사용자 행동 기록을 매 요청 다시 계산하는 비용을 캐시로 줄이는 설계가 핵심이다.
배포 흐름
- PyTorch AOTI로 모델을 네이티브 실행 파일로 만들고 같은 산출물을 Python과 C++에서 검증한 뒤 Dynamo-Triton에 올린다.
- FlexKV는 사용자 이력의 주의 상태를 GPU·호스트 저장소에 캐시하고 임베딩 캐시는 자주 쓰는 항목만 GPU에 둔다.
실험 조건
- KuaiRand-1K 설정, 단일 RTX PRO 6000 GPU, 배치 8, 캐시 적중률 100%의 8층 HSTU 실험에서 최대 5.93배 낮은 지연을 보고했다.
- 실험은 서빙 지연을 측정했으며 실제 쇼핑몰의 매출 개선이나 고객 행동 변화는 제시하지 않았다.
e-commerce·D2C 인사이트 ABLE 편집 해석
대형 D2C 추천 시스템이 긴 고객 행동 이력을 반복 평가한다면 캐시 재사용을 검토할 수 있습니다. 실제 쇼핑몰에서는 캐시 적중률, 갱신 지연, 추천 품질과 개인정보 조건을 별도 측정해야 합니다.
함께 확인할 조건
- 100% GPU 캐시 적중률은 실제 서비스에서 보장되지 않습니다.
- 매출·전환율 개선 결과는 발표에 없습니다.
판단의 근거는 원문에서
developer.nvidia.com ↗https://developer.nvidia.com/blog/deploying-an-hstu-generative-recommender-with-nvidia-dynamo-triton/요약은 원문의 핵심을 정리한 내용이며, 인사이트는 ABLE의 편집 해석입니다.