AI 연구연구 프리프린트
이미지를 어떻게 바꿀지 먼저 설명하고 생성…통합 멀티모달 모델 동시 개선
원문 읽기 · arxiv.org ↗(새 탭에서 열림)한 모델이 이미지를 읽고 또 만들어야 할 때 두 능력의 학습 목표가 서로 간섭할 수 있다. ReasonUni는 원본 이미지와 편집 지시를 보고 목표 상태를 말로 추론한 다음 해당 이미지를 생성하게 하는 재구성 훈련을 제안했다.
연구 방법
- TreeGRPO라는 나무 구조 강화학습에서 여러 목표 설명을 가지로, 각 설명에 따른 후보 이미지를 잎으로 취급한다. 시각 보상을 모아 목표 상태 설명과 이미지 생성 부분에 함께 반영한다. X-Omni의 지도 미세조정·강화학습 초기 상태를 각각 기준으로 시험하고 UAE와의 자료 조건 비교도 했다.
평가 결과
- 지도 미세조정 초기 상태에서 X-Omni 대비 DPGBench 생성점수는 65.25→78.59, GenEval++는 7.50→23.21로 올랐다. 강화학습 초기 상태에서도 GenEval++는 40.00→46.79, MMBench는 74.31→75.96이었다. 12개 시각 이해 지표는 모두 개선됐지만 일부 폭은 1점 미만이다.
적용 조건
- 평가는 지정된 X-Omni 기반과 합성 편집 자료에 의존한다. 모든 통합 멀티모달 구조나 일반 이미지 편집 서비스에서 같은 이득을 보장하지 않는다. 자동 벤치마크 점수는 실제 사용자의 편집 만족도와 구분해야 한다.
함께 확인할 조건
- 평가는 지정된 X-Omni 기반과 합성 편집 자료에 의존한다. 모든 통합 멀티모달 구조나 일반 이미지 편집 서비스에서 같은 이득을 보장하지 않는다. 자동 벤치마크 점수는 실제 사용자의 편집 만족도와 구분해야 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.