AI 연구연구 프리프린트
음성 AI의 ‘언제 끼어들지’ 조절…짧은 참고 대화로 화자별 리듬 맞췄다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)실시간 음성 비서는 무엇을 말할지뿐 아니라 언제 말을 시작하고 멈출지도 결정한다. 연구진은 전이중 음성 모델의 내부 상태에서 발화 시작과 연관된 한 방향을 찾아, 새 훈련 없이 그 방향의 세기를 조절해 대화 참여 빈도를 바꿨다.
연구 방법
- Moshika·Moshika-RL·PersonaPlex 세 가중치에서 원래 대화의 무음 구간과 800ms 이내 발화 구간의 내부 상태 차이를 이용했다. 100대화에서 방향을 추출하고 가중치마다 보류 500대화에서 발화 시작을 읽고 조절했다. 참고 화자의 약5분 녹음으로 개인별 조절량을 정했다.
평가 결과
- 내부 방향으로 800ms 이내 발화를 구분하는 AUC는 세 모델에서 0.818·0.830·0.898이었다. 조절 세기에 따라 발화 비율은 낮은 쪽 6~12%부터 높은 쪽 42~61%까지 바뀌었고 기본은 21~30%였다. 다른 사람의 참고 녹음으로 바꾸면 리듬 일치도가 92.7~98.0% 사례에서 나빠졌다.
적용 조건
- 대화량과 발화 시점의 적합도를 측정한 것이 실제 사용자의 선호나 대화 내용 품질을 입증하는 것은 아니다. 내부 상태 접근이 가능한 세 공개 모델에서 시험했으며 블랙박스 음성 API에 바로 적용할 수 없다. 화자 스타일 복제는 동의·개인정보 조건을 별도로 다뤄야 한다.
함께 확인할 조건
- 대화량과 발화 시점의 적합도를 측정한 것이 실제 사용자의 선호나 대화 내용 품질을 입증하는 것은 아니다. 내부 상태 접근이 가능한 세 공개 모델에서 시험했으며 블랙박스 음성 API에 바로 적용할 수 없다. 화자 스타일 복제는 동의·개인정보 조건을 별도로 다뤄야 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.