AI 연구연구 프리프린트
음성 대화 AI, 합성기는 그대로 두고 생성 토큰만 압축해 속도 개선
원문 읽기 · arxiv.org ↗(새 탭에서 열림)음성 대화 모델은 대답을 소리로 만들기 전에 긴 음성 토큰열을 하나씩 생성해 지연이 커질 수 있다. CoSTA는 생성 단계에서 여러 토큰을 하나로 묶고, 합성 직전에는 원래 토큰으로 확정적으로 펼쳐 기존 음성 합성기를 그대로 사용한다.
연구 방법
- 기존 Step-Audio 2 mini의 어휘·출력층을 확장하고 발음 적응과 대화 적응을 차례로 진행했다. 중국어·영어 각각 음성 300시간과 합성된 대화 예 약 5만 개를 이용하고, 같은 적응 자료를 쓰되 압축하지 않는 미세조정 방식과 비교했다. 12개 대화 벤치마크와 사람 평가도 수행했다.
평가 결과
- 확장된 원래 토큰 수 기준 생성 속도는 중국어 1.736배, 영어 1.659배였다. 단일 A100·vLLM의 시험 동시성에서 전체 응답 지연은 중국어 32.8~39.0%, 영어 22.4~26.0% 줄었다. 6명 평가자의 1080개 응답 평점에서는 두 비교군보다 승리가 패배보다 많았지만 세부 작업별 지표 향상은 균일하지 않았다.
적용 조건
- 속도는 시험한 하드웨어·모델·동시성 및 비교 기준에 한정된다. 적응 대화 음성은 합성 자료이며 감정·개인화 음성이나 다양한 환경 소음을 다루지 않았다. 새 어휘 행은 원 모델 매개변수의 약 6%를 추가하고, 음성 품질 지표는 일부 과제에서 차이가 있어 보존을 절대적 동등성으로 해석하면 안 된다.
함께 확인할 조건
- 속도는 시험한 하드웨어·모델·동시성 및 비교 기준에 한정된다. 적응 대화 음성은 합성 자료이며 감정·개인화 음성이나 다양한 환경 소음을 다루지 않았다. 새 어휘 행은 원 모델 매개변수의 약 6%를 추가하고, 음성 품질 지표는 일부 과제에서 차이가 있어 보존을 절대적 동등성으로 해석하면 안 된다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.