AI 연구연구 프리프린트
LangDiT, 연속 확산 언어모델의 트랜스포머 구조 개선
원문 읽기 · arxiv.org ↗(새 탭에서 열림)LangDiT는 연속 확산 언어모델에 맞춰 트랜스포머의 정규화·잡음 조건·학습 피드백 구조를 조정한 연구다.
연구 방법
- 연구진은 LangFlow의 표현·학습 목표·샘플러를 유지한 채 트랜스포머 백본을 바꿨다. 특징과 쿼리·키 정규화, 넓은 잡음 조건, 기울기 경로 조정, 확신도 기반 자기조건화를 순차 시험했다.
평가 결과
- 공통 25만 업데이트 한도와 128번의 잡음제거 호출 조건에서 생성 퍼플렉시티는 기존 LangFlow 64.26에서 LangDiT 53.66으로 낮아졌다. 1024번 호출의 별도 연장 학습은 21.72를 기록했지만 동일 예산의 인과 비교는 아니다.
적용 조건
- OpenWebText 1024토큰, 한 백본 크기·훈련 시드 중심 결과다. 변경을 순차로 더한 실험이라 각 요소의 독립 기여를 확정할 수 없고 모델 매개변수도 늘었다. 생성 퍼플렉시티 감소만으로 문맥 일관성·의미 다양성의 향상을 보장하지 않는다.
함께 확인할 조건
- OpenWebText 1024토큰, 한 백본 크기·훈련 시드 중심 결과다. 변경을 순차로 더한 실험이라 각 요소의 독립 기여를 확정할 수 없고 모델 매개변수도 늘었다. 생성 퍼플렉시티 감소만으로 문맥 일관성·의미 다양성의 향상을 보장하지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.