AI 연구연구 프리프린트
미세조정 전 선형으로 읽히는 지식이 새 관계로 더 잘 일반화
원문 읽기 · arxiv.org ↗(새 탭에서 열림)논문은 언어모델이 사실을 기억하는 것과 그 사실을 이용해 새로운 관계를 배우는 능력이 다를 수 있음을 시험했다.
연구 방법
- 기존 관계의 정답을 임의 라벨로 다시 연결해 일부 대상만 미세조정하고, 보지 않은 대상에도 새 라벨을 맞히는지 살폈다. 학습 전 표현에서 기존 관계를 선형 탐침으로 얼마나 읽을 수 있는지도 측정했다.
평가 결과
- 11개 언어모델과 70개 관계에서 모델별 관계 단위의 선형 판독성과 미세조정 후 일반화 상관은 Pearson r 0.87~0.92였다. 이는 단순히 기존 사실을 회상하는 정확도보다 새 관계의 일반화를 잘 예측했다.
적용 조건
- 인위적 라벨 재배정과 관계형 지식 실험의 상관 결과다. 선형 판독성이 일반화의 원인이라고 단정할 수 없고, 모든 형태의 지식 습득이나 실제 업무 미세조정 성능을 대표하지 않는다.
함께 확인할 조건
- 인위적 라벨 재배정과 관계형 지식 실험의 상관 결과다. 선형 판독성이 일반화의 원인이라고 단정할 수 없고, 모든 형태의 지식 습득이나 실제 업무 미세조정 성능을 대표하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.