AI 연구연구 프리프린트
DropKV, 긴 맥락 모델의 KV 캐시 제거 기준 제안
원문 읽기 · arxiv.org ↗(새 탭에서 열림)DropKV는 긴 입력에서 메모리를 차지하는 KV 캐시를 토큰별 점수로 제거하는 방법을 제안한다.
배경과 변화
- 전체 토큰 조합의 어려운 최적화를 개별 점수로 나누고 조건부 근사 보장을 제시한다.
근거와 결과
- RULER·LongBench 평가에서 같은 캐시 예산의 비교 방법보다 품질을 높이고 융합 커널의 점수 계산을 19.8배 빠르게 했다고 보고했다.
적용 조건
- 근사 보장은 특정 조건에 걸리고 성능 수치는 세 모델·지정 벤치마크·구현에서 나온 것이다. 모든 서비스 지연 개선을 보장하지 않는다.
함께 확인할 조건
- 근사 보장은 특정 조건에 걸리고 성능 수치는 세 모델·지정 벤치마크·구현에서 나온 것이다. 모든 서비스 지연 개선을 보장하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.