AI 연구연구 프리프린트
겹쳐 말하는 두 사람의 얼굴과 소리를 함께 보고 음성을 분리한다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)CF-AVSS는 겹친 대화에서 보이는 두 화자를 영상으로 짚어 먼저 거칠게 분리하고 원래 녹음을 다시 보며 목표 음성을 복원한다.
연구 방법
- 두 얼굴의 입 움직임을 25프레임/초 영상 특징으로 만들고 각 화자에 순서를 고정한 출력으로 혼합음을 단계적으로 분리한다. 다음 정제망은 원본 혼합음과 두 거친 결과를 함께 사용하며, 개발 자료에서 정한 0.34 비율로 두 추정을 합쳐 약한 발음이 지워지는 문제를 줄인다.
평가 결과
- ISCSLP 2026 실제환경 AVSE 경진대회 공식 시험에서 종합 OVRL 2.86으로 트랙1 공동1위, 영상 가림·동기 불량이 포함된 트랙2 2위였다. 문자오류율은 각각 12.31%, 14.79%로 제출작 중 가장 낮았다. 시험 자료는 트랙1 4257클립·트랙2 4941클립이었다.
적용 조건
- 경진대회 제출 시스템의 결과이며 참가 팀은 익명이다. 다른 시스템은 일부 음질 척도에서 더 좋았고 개발 자료 제거 실험에서도 정제 단계만 쓰면 목표 음성이 과하게 제거될 수 있었다. 두 화자의 동기화 영상과 특정 자료 조건을 전제로 하므로 실제 회의·원격통화 전체로 일반화할 수 없다.
함께 확인할 조건
- 경진대회 제출 시스템의 결과이며 참가 팀은 익명이다. 다른 시스템은 일부 음질 척도에서 더 좋았고 개발 자료 제거 실험에서도 정제 단계만 쓰면 목표 음성이 과하게 제거될 수 있었다. 두 화자의 동기화 영상과 특정 자료 조건을 전제로 하므로 실제 회의·원격통화 전체로 일반화할 수 없다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.