데이터·연구huggingface.co
NVIDIA·AI4Bharat, 인도 언어 사전학습 생성법 공개
NVIDIA와 AI4Bharat가 인도 22개 언어의 대규모 합성 사전학습 데이터 및 재사용 가능한 생성 절차를 소개했다. 데이터 공개 시점과 평가 범위를 구분해야 한다.
데이터 범위
- 약 2.8조 토큰은 22개 언어의 원문 문자 데이터와 12개 언어의 로마자 표기를 포함한다.
- 같은 영어 원천 문서의 번역·표기 변형이 있어 독립 원문 수와 같지 않다.
생성과 검수
- 영어 문서를 번역하고 의미·용어·형식을 평가한 뒤 일부 결과를 보정한다.
- 출처 식별자를 남기지만 사람 검수는 표본이며 언어별 범위가 다르다.
성능 해석
- Nemotron 지속 사전학습은 합성·자연어 인도 언어 데이터를 함께 사용했다.
- 보고된 향상을 합성 말뭉치 단독 효과로 볼 수 없다.
함께 확인할 조건
- 말뭉치 자체는 원문 시점에 공개 예정이다.
- 자동 품질 평가만으로 언어별 자연스러움과 지역 지식을 보장하지 않는다.
판단의 근거는 원문에서
huggingface.co ↗https://huggingface.co/blog/nvidia/scaling-indic-pretraining요약은 원문의 핵심을 정리한 내용이며, 인사이트는 ABLE의 편집 해석입니다.