AI 연구연구 프리프린트
언어모델 일부 가중치만 갱신해 연속 학습의 간섭을 줄였다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)CiMEO는 학습 명령을 여섯 인지 범주로 분류한 뒤 연관 가중치만 갱신해 새로운 과제를 배우면서 이전 능력의 손실을 줄이려 한다.
연구 방법
- 연구진은 약 140만 개 순차 명령을 Bloom 분류에 따라 표시하고 기울기 기여도로 범주별 희소 부분망을 찾았다. 선택된 가중치에만 갱신과 옵티마이저 상태를 배정한다. 식별된 범주 간 부분망 평균 중복은 0.002% 미만이었지만 이는 이 모델과 선택 기준의 관측값이다.
평가 결과
- Qwen3-1.5B 기반 다섯 평가의 단순 평균에서 CiMEO는 38.92%, 다음 높은 LoRAFA는 38.20%였다. 개별 평가 중 최고가 하나도 없었고 중국어 코드 25.00%는 OLoRA 29.27%보다 낮았다. 무작위·최소 기울기 선택 대조는 평균 25.95%·27.36%로, 선택 규칙의 기여를 뒷받침한다.
적용 조건
- 평가는 한 1.5B 기반 모델과 정해진 순차 데이터·다섯 과제에 묶인다. 평균의 차이가 작고 실제 옵티마이저 메모리 절감량이나 장기간 운영 비용 수치를 이 결과만으로 단정할 수 없다. 인지 범주와 부분망의 대응은 이 실험의 분류·기여도 정의에 의존한다.
함께 확인할 조건
- 평가는 한 1.5B 기반 모델과 정해진 순차 데이터·다섯 과제에 묶인다. 평균의 차이가 작고 실제 옵티마이저 메모리 절감량이나 장기간 운영 비용 수치를 이 결과만으로 단정할 수 없다. 인지 범주와 부분망의 대응은 이 실험의 분류·기여도 정의에 의존한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.