AI 연구연구 프리프린트
반복형 언어모델의 다음 토큰을 미리 예측해 생성 속도를 높인다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)LoopAhead는 같은 층을 여러 차례 도는 언어모델의 초반 계산에서 뒤따를 토큰을 제안하고, 중간 계산 피드백으로 가능성 낮은 제안을 일찍 멈춘다.
연구 방법
- 작은 예측기가 초기 반복층의 상태와 현재 제안 토큰을 이용해 여러 미래 토큰을 만든다. 중간층의 피드백으로 후보 가지를 멈추거나 다시 진행하지만 최종 채택은 원래 모델의 전체 반복 깊이에서 검증한다. 따라서 탐색 순서를 바꿔도 목표 모델의 출력 분포를 유지하도록 설계했다.
도표 크게 보기 ↗ (새 탭에서 열림)LAD는 이른 순환 상태와 기준 토큰을 이용해 미래 위치의 후보를 먼저 만든다. 중간 깊이 R2의 충돌 신호는 불리한 가지를 잠시 멈추고, 전체 깊이 R4가 최종 출력 토큰을 검증해 채택 또는 가지 제거를 결정한다. 그림은 한 생성 경로의 작동 예시로, 속도 향상 수치나 모든 입력에서의 성능을 나타내지 않는다.
출처: Zixuan Liu, Nan Xue, Rui Bao, Yuhang Xu, Xiaofeng Cao, Jiangchao Yao, Zhiyong Chen · Figure 2 · arXiv:2610.21594v1
원문 도표·설명 ↗ · CC-BY-4.0
원본 PNG를 메타데이터 없는 흰 배경 WebP로 재인코딩하고 최대 너비 1280px로 줄였다. 원래 흐름·라벨·아이콘·범례·색상을 유지했다.
평가 결과
- Ouro·Raven 계열 반복형 모델을 대상으로 한 30개 탐욕 생성 모델·과제 조합에서 기본 한 토큰씩 생성보다 2.82~7.82배 빨랐고 이전 LoopSpec보다 모두 빨랐다. 표본 생성 10개 조합에서는 3.00~4.32배였으며 LoopSpec 대비 처리량이 16.2~36.8% 늘었다.
적용 조건
- 속도 측정은 연구진의 반복형 모델·장비·배치 조건에 묶이며 입력 준비, 모델 로딩, 예열 시간은 제외됐다. 소형 별도 예측기의 학습과 후보 병렬 계산 자원이 추가된다. 일반 Transformer 모델이나 실제 서비스의 끝단 지연이 같은 비율로 개선된다는 뜻은 아니다.
함께 확인할 조건
- 속도 측정은 연구진의 반복형 모델·장비·배치 조건에 묶이며 입력 준비, 모델 로딩, 예열 시간은 제외됐다. 소형 별도 예측기의 학습과 후보 병렬 계산 자원이 추가된다. 일반 Transformer 모델이나 실제 서비스의 끝단 지연이 같은 비율로 개선된다는 뜻은 아니다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.