AI 연구연구 프리프린트
시각 AI가 새 과제를 배울 때 잊는 문제, 연결부와 언어 모델을 함께 조정
원문 읽기 · arxiv.org ↗(새 탭에서 열림)CART는 시각 AI가 새 과제를 차례로 배울 때 오래된 능력을 잃는 원인 중 하나로 영상-언어 연결부와 언어 모델의 불일치를 지목한다.
연구 방법
- 기존 방식은 언어 모델의 과제별 적응만 보존하고 영상을 언어 입력으로 바꾸는 프로젝터는 계속 업데이트하는 경우가 많다. CART는 두 부분 모두 과제별 전문가를 유지하고, 입력 관련성과 상호 호환성을 함께 따져 조합하며 비슷한 전문가를 병합한다.
평가 결과
- LLaVA-v1.5-7B 기반 CoIN의 8개 과제 최종 평균은 CART 72.92, 비교법 SAME 66.82였다. UCIT 6개 과제에서는 CART 75.67, SAME 73.07이었다. 일부 개별 과제에서는 비교법이 더 높아 평균 개선을 모든 과제의 우위로 읽으면 안 된다.
적용 조건
- 두 벤치마크와 하나의 기반 모델에서 확인한 결과이며 긴 과제 연속 과정은 아직 평가하지 않았다. 학습 후의 모델 편향이나 소수 입력에 대한 라우팅 신뢰성도 별도 검증이 필요하다.
함께 확인할 조건
- 두 벤치마크와 하나의 기반 모델에서 확인한 결과이며 긴 과제 연속 과정은 아직 평가하지 않았다. 학습 후의 모델 편향이나 소수 입력에 대한 라우팅 신뢰성도 별도 검증이 필요하다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.