AI 연구연구 프리프린트
언어모델이 답을 알고도 못 말하는 시기, 출력층의 학습 속도 탓일 수 있다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)언어모델이 어떤 능력을 언제 배웠는지 출력 결과만 보고 판단하면 내부에 이미 담긴 정보를 놓칠 수 있다. 이 연구는 단어 점수를 만드는 마지막 출력 행렬의 변화와 숨은 상태의 정보량을 따로 추적했다.
연구 방법
- 여러 학습 체크포인트의 출력 행렬을 하나의 희소 특징 사전으로 설명하는 매개변수 궤적 교차코더를 만들었다. Pythia 계열과 OLMo의 출력 행렬 변화를 추적하고, 같은 숨은 상태를 다른 시점의 출력층으로 읽거나 선형 탐침으로 검사했다. 작은 모델에서는 출력층 학습률만 바꾼 별도 사전학습도 수행했다.
평가 결과
- Pythia 세 크기에서 출력층 재구성의 큰 변화는 전체 학습의 0.4~1.1% 구간에 몰렸고 WordNet 단어 범주를 출력 행렬에서 읽어낼 수 있게 되는 시기와 겹쳤다. 일부 문법·대명사 과제의 정보는 숨은 상태 탐침에서 먼저 나타났지만 당시 모델 출력에는 늦게 반영됐다. 출력층 학습률을 높인 3100만 매개변수 실험에서는 그 간격이 줄었다.
적용 조건
- 초기 출력층 학습률 개입은 3100만 매개변수 설정의 조건별 단일 실행에 한정된다. 탐침은 두 후보 단어의 구별을 보는 것이지 열린 과제 능력을 증명하지 않는다. OLMo의 비슷한 초기 변화는 저자들의 통계적 귀무 비교에서 유의하지 않았으며 대부분 함의는 학습 초기에 관한 것이다.
함께 확인할 조건
- 초기 출력층 학습률 개입은 3100만 매개변수 설정의 조건별 단일 실행에 한정된다. 탐침은 두 후보 단어의 구별을 보는 것이지 열린 과제 능력을 증명하지 않는다. OLMo의 비슷한 초기 변화는 저자들의 통계적 귀무 비교에서 유의하지 않았으며 대부분 함의는 학습 초기에 관한 것이다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.