AI 연구연구 프리프린트
에이전트의 긴 대화에서 초안 캐시를 없애는 DLite 디코딩 제안
원문 읽기 · arxiv.org ↗(새 탭에서 열림)DLite는 에이전트의 긴 실행 이력 때문에 느려지는 추측 디코딩의 초안 모델을 이력 캐시 없이 구동하는 방식을 제안했다.
배경과 구조
- 작은 초안 모델이 토큰 후보를 제시하고 큰 목표 모델이 검증하는 추측 디코딩은 에이전트의 긴 다회차 문맥에서 초안 캐시 관리가 부담이 된다. DLite는 목표 모델의 은닉 상태로 지역 예측을 수행한다.
실험 근거
- Qwen3-4B·8B, H800 환경의 일반·긴 문맥·에이전트 과제를 시험했다. SWE-bench의 Qwen3-4B에서는 일반 생성 대비 DSpark 1.64배, DLite 2.68배 속도 향상이 측정됐다.
적용 조건
- 수치는 해당 모델과 하드웨어의 디코딩 속도다. 다른 모델·서비스의 비용이나 에이전트 성공률을 보장하지 않는다. 비심사 프리프린트다.
함께 확인할 조건
- 결과는 Qwen3-4B·8B와 NVIDIA H800을 사용한 제한된 벤치마크에 근거한다. 속도와 토큰 수락 길이를 측정했으며 실제 에이전트 성공률·전체 운영비를 검증한 것은 아니다. 비심사 프리프린트다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.