AI 연구연구 프리프린트
월로프어 공개 가중치 모델 0.6B~14B 공개…현지 고객응대 시험 중
원문 읽기 · arxiv.org ↗(새 탭에서 열림)세네갈에서 널리 쓰이는 월로프어는 공개 가중치 언어모델의 지원이 약하다. Orange Research는 Qwen3 기반 0.6B~14B 모델을 월로프어 명령 자료로 미세조정하고 선호 정렬·모델 병합을 일부 크기에 적용해 공개했다.
연구 방법
- 평가에는 공개 과제와 자체 고객응대 과제를 합친 63개를 사용했으며 35개에 월로프어가 포함되고 13개는 사내 자료다. 기본 모델에 비해 월로프어 이해·생성 성능이 높아졌고, 4B~14B에서는 영·불어와 다른 기술을 대체로 유지했다. 공개 모델은 현재 내부 고객응대 시범에 통합·평가 중이다.
평가 결과
- 월로프어 자유형 답변의 자동 점수는 Gemini-2.5-flash가 매겼으며 모국어 화자 450응답 검토에서 점수의 95%가 수용됐다. 별도 12명 모국어 화자의 블라인드 비교도 실시했다. 그러나 0.6B는 몇몇 기존 능력이 떨어졌고 도구 호출은 필요하지 않은 때에도 호출하는 오탐이 늘었다.
적용 조건
- 사내 고객응대 과제와 내부 시범 결과를 독립적으로 재현하기 어렵다. 자동 채점의 현지 언어 타당성을 계속 검증해야 하며 월로프어 특화 안전·공정성 검토도 남았다. 공개 가중치라는 점과 운영 배포 완료를 혼동하면 안 된다.
함께 확인할 조건
- 사내 고객응대 과제와 내부 시범 결과를 독립적으로 재현하기 어렵다. 자동 채점의 현지 언어 타당성을 계속 검증해야 하며 월로프어 특화 안전·공정성 검토도 남았다. 공개 가중치라는 점과 운영 배포 완료를 혼동하면 안 된다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.