AI 연구연구 프리프린트
Prism Attention, 긴 문맥 추론에서 층별 토큰 선택을 다시 다듬었다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)긴 문맥에서 어텐션 비용을 줄이되 층마다 필요한 토큰이 달라지는 문제를 완화하려는 방식이다.
배경과 방법
- 기존 층간 공유는 앞선 층이 고른 희소 토큰의 위치를 후속 층에서 그대로 사용한다. Prism은 제안 층에서 넓은 후보 범위를 만들고 후속 층에서 토큰을 가볍게 재선택해 층별 관심 위치의 국소 이동을 따라간다.
실험 근거
- Qwen3-4B의 SGLang 끝단 생성 단계 지연은 128K 문맥·배치16에서 FlashAttention 15.03ms, Prism 4.47ms로 약 3.36배 차이였다. Qwen3-4B·8B의 추론·긴 문맥 평가에서는 시험된 희소 방식 가운데 평균 점수가 높았으나 전체 어텐션 점수를 항상 넘지는 않았다.
적용 조건
- 추론 장비는 NVIDIA H800이며 층 분할은 수학 자료로 교정한 뒤 고정했다. Prism은 IndexCache에 비해 16K에서 15.7%, 64K에서 8.0% 느리고 128K에서 지연이 거의 같았다. 단계당 디코딩 지연을 전체 서비스 응답 시간과 혼동하지 않는다.
함께 확인할 조건
- 3.36배는 Qwen3-4B·SGLang·NVIDIA H800·128K 문맥·배치16·희소 예산2,048에서의 생성 단계당 속도비다. 전체 요청 지연이나 모든 하드웨어의 개선율이 아니다. 층 분할은 수학 문제 자료로 한 번 교정해 고정했고, 짧은 문맥에서는 기존 IndexCache의 지연이 더 낮다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.