AI 연구연구 프리프린트
듣는 동안에도 몸짓·표정을 이어 만드는 음성 대화 모델
원문 읽기 · arxiv.org ↗(새 탭에서 열림)ELLSA 2는 말을 하는 중뿐 아니라 상대 말을 듣거나 잠시 침묵할 때도 대화 상태에 맞는 몸짓과 얼굴 표정을 생성한다.
연구 방법
- 음성 대화 뼈대의 듣기 상태와 음성 합성기의 말하기 상태를 따로 받아 상체·손·표정 코드를 짧은 묶음으로 이어 생성한다. 의미 있는 손짓은 문맥에 맞는 호출 여부를 먼저 정하고 예시 동작을 템플릿으로 안내한다. 음성 기능을 먼저 익힌 뒤 비언어 생성기를 붙이고 공동 최적화했다.
평가 결과
- 세 질의응답 평가의 음성 응답 정확도는 78.0%·47.3%·63.6%로 비교한 공개 양방향 모델 중 최고였다. 대화 차례 판단 평균은 95.2%였고 의미 손짓 호출은 F1 87.8이었다. 사람 평가의 의미 손짓 점수는 안내를 넣기 전 2.014에서 2.711로 올랐지만 리듬 정렬은 0.723에서 0.710으로 소폭 떨어졌다.
적용 조건
- 실제 얼굴을 보는 시각 입력은 없고 의미 동작 예시 라이브러리는 한 데이터셋에 의존한다. 사람 평가와 참조 영상 기반 자동 평가는 특정 대화·동작 집합에 묶여 실제 대면 상호작용 품질이나 지연을 보증하지 않는다. 공개 원문의 모델별 비교 조건에서의 성과다.
함께 확인할 조건
- 실제 얼굴을 보는 시각 입력은 없고 의미 동작 예시 라이브러리는 한 데이터셋에 의존한다. 사람 평가와 참조 영상 기반 자동 평가는 특정 대화·동작 집합에 묶여 실제 대면 상호작용 품질이나 지연을 보증하지 않는다. 공개 원문의 모델별 비교 조건에서의 성과다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.