AI 연구연구 프리프린트
이미지 생성 모델의 미세조정 데이터, 대표·다양성 표본으로 줄인 실험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)이미지 생성 모델을 새 선호 데이터에 맞추려면 많은 이미지를 반복 학습해야 한다. EigDiff는 사전학습 CLIP의 이미지 표현에 주성분 분석을 적용하고, 주요 방향을 대표하는 사례와 서로 다른 방향의 사례를 함께 뽑아 작은 학습 집합을 만든다.
연구 방법
- Stable Diffusion 1.5와 PixArt-α를 DPO 및 지도 미세조정으로 시험했다. Pick-a-Pic·HPDv2·Rapidata와 의료 영상 ROCO의 네 자료에서 동일 표본 수의 무작위 선택과 네 가지 기존 선택법, 전체 자료 학습을 비교했다. 점수는 일반 이미지 PickScore와 의료 이미지 BiomedCLIP으로 나눴다.
평가 결과
- 같은 에폭을 돌리는 조건에서 작은 표본의 미세조정 시간은 전체 자료보다 5.87~13.95배 짧았다. 미리 계산된 특징 위에서 표본을 고르는 시간은 비교 선택법보다 3.1~1607배 빨랐다. 동일 표본 예산의 무작위 선택을 모든 시험에서 앞섰고, 14개 비교 중 12개에서 선택법 상위 두 방식 안에 들었다.
적용 조건
- 같은 에폭 비교는 작은 자료가 더 적은 최적화 단계를 수행하는 조건이다. 같은 5만 단계 실험에서는 추가 학습 시간이 필요하므로 14배의 총비용 절감으로 해석하면 안 된다. 의료 영상 평가는 자동 정렬 점수로 임상적 정확성을 보증하지 않으며 CLIP 표현의 편향에 선택 품질이 좌우된다.
함께 확인할 조건
- 같은 에폭 비교는 작은 자료가 더 적은 최적화 단계를 수행하는 조건이다. 같은 5만 단계 실험에서는 추가 학습 시간이 필요하므로 14배의 총비용 절감으로 해석하면 안 된다. 의료 영상 평가는 자동 정렬 점수로 임상적 정확성을 보증하지 않으며 CLIP 표현의 편향에 선택 품질이 좌우된다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.