AI 연구연구 프리프린트
소리·영상 짝 데이터 없이 다중모달 학습…텍스트 대리 표현을 서로 주고받는다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)소리와 영상이 함께 붙은 학습 자료는 수집 비용이 높다. MSP는 한 모달이 없는 학습 사례에 대해 텍스트로 만든 대리 표현을 채워 음성·영상·언어를 함께 다루는 모델을 학습한다. 추론할 때는 대리 텍스트가 아니라 실제 입력 모달을 사용한다.
연구 방법
- 학습에는 AudioCaps·WavCaps·LLaVA처럼 모달과 텍스트가 짝인 자료를 사용하되 실제 소리와 영상이 서로 짝인 사례는 구성 단계에서 요구하지 않는다. 사전학습된 음성·영상 인코더와 모달 연결 보정이 필요하며, 생성한 대리 텍스트로 빠진 모달의 정보를 흉내 낸다.
평가 결과
- MUSIC-AVQA의 512 해상도 조건에서는 정확도 65.65%를 보고했고 논문 표의 OneLLM 47.60%, GPT-4o 50.08%와 비교했다. AVQA 256 해상도 조건은 85.73%였다. 반면 OmniBench 43.26%는 Qwen2.5-Omni 56.13%보다 낮아 모든 복합 과제에서 우위라고 할 수 없다.
적용 조건
- 서로 짝지은 음성·영상 자료가 필요 없다는 주장이지 모달-텍스트 자료나 사전학습 인코더가 필요 없다는 뜻은 아니다. 생성 대리 표현의 품질에 의존하고 표의 외부 모델은 학습 데이터·입력 조건이 동일하다고 보장되지 않는다.
함께 확인할 조건
- 서로 짝지은 음성·영상 자료가 필요 없다는 주장이지 모달-텍스트 자료나 사전학습 인코더가 필요 없다는 뜻은 아니다. 생성 대리 표현의 품질에 의존하고 표의 외부 모델은 학습 데이터·입력 조건이 동일하다고 보장되지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.