AI 연구연구 프리프린트
소리 원천을 시간 따라 추적…SonicWorld 공간 오디오 질문 성능 비교
원문 읽기 · arxiv.org ↗(새 탭에서 열림)여러 소리가 겹칠 때 특정 소리가 어느 방향에서 움직이는지 알려면 내용 인식만으로는 부족하다. SonicWorld는 원천마다 지속되는 공간 상태를 만들고 물리·학습 음향 특징과 시간 변화를 결합해, 질문한 시점의 위치·거리·움직임을 언어모델이 답하도록 했다.
연구 방법
- 연구진은 모의 실내 장면 480개에서 1차 Ambisonics 소리 2,800개와 대상 원천별 문답 2만8,800개를 구성했다. 단일·두 원천의 방향, 방위각·고도·거리와 움직임을 평가한다. 모델은 원천 상태를 반복 갱신하고 시간 정보와 압축된 음향 특징을 Qwen2.5-Omni-7B에 투영하며 두 단계 미세조정을 적용했다.
도표 크게 보기 ↗ (새 탭에서 열림)왼쪽은 음향 특징 추출과 순환 원천 상태 추정, 아래는 상태 학습과 위치 예측이다. 오른쪽은 공간 토큰을 소리·질문 토큰과 함께 Omni 언어모델에 넣고 두 단계로 미세조정하는 흐름이다. 모델 구조를 설명하는 도식이며 방향 정확도나 방위각 오차를 나타내는 성능 그래프가 아니다.
출처: Chenlong Wei, Hanling Wang, Mingjin Lou, Yufan Shi, Yandong Sun, Sheldon Yu, Xiaohui Zhu, Xiaobo Jin, Yiwei Wang · Figure 2 · arXiv:2610.17131v1
원문 도표·설명 ↗ · CC-BY-4.0
원본 PNG를 메타데이터 없는 WebP로 재인코딩하고 표시 폭을 1543px에서 1280px로 조정했다. 구성도 내용과 색상·라벨은 변경하지 않았다.
평가 결과
- Sonic-Bench 전체 방향 정확도는 비교 Spatial-Omni의 31.98%에서 34.69%로, 방위각 평균 오차는 57.22도에서 48.01도로 개선됐다. 단일 원천 방향 정확도는 50.00%, 두 원천은 27.03%로 겹침이 어려웠다. 별도 Spatial LibriSpeech의 정적 원천 위치 확인에서는 추가 학습 없이 방향 정확도 73.98%, 방위각 오차 19.29도를 기록했다.
적용 조건
- 핵심 학습·시험은 고정 수신기를 둔 모의 실내 환경에 한정된다. 실제 녹음, 더 많은 음원, 수신자 이동을 확인하지 않았고 양방향 시간 처리라 실시간 스트리밍 성능으로 해석할 수 없다. 외부 평가도 정적 원천의 선택된 구간이다.
함께 확인할 조건
- 핵심 학습·시험은 고정 수신기를 둔 모의 실내 환경에 한정된다. 실제 녹음, 더 많은 음원, 수신자 이동을 확인하지 않았고 양방향 시간 처리라 실시간 스트리밍 성능으로 해석할 수 없다. 외부 평가도 정적 원천의 선택된 구간이다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.