모델·연구기술 블로그
Swiss AI, Apertus 1.5의 다중모달 훈련·평가 근거 공개
원문 읽기 · Swiss AI ↗(새 탭에서 열림)Swiss AI가 10월 15일 Apertus 1.5 릴리스 노트에서 다중모달 입력 구조, 8B·70B의 계속 학습 과정, 평가 재현 자료를 상세히 공개했다. 가중치 공개는 7월 24일로, 이번 발표의 새 내용은 공개 모델을 어떻게 훈련하고 평가했는지에 있다.
다중모달과 긴 문맥의 구성
- Apertus 1.5는 기존 8B·70B 텍스트 모델을 계속 학습해 이미지와 오디오 입력을 받는다. 이미지는 Emu3.5 토크나이저, 오디오는 WavTokenizer로 토큰화해 텍스트와 같은 시퀀스에 결합한다.
- 512×512 이미지 한 장은 1,024토큰, 오디오는 초당 40토큰이라고 설명한다. 모델은 이 입력을 이해하지만 출력은 텍스트뿐이며 음성 처리 자체는 실험 단계다.
- 문맥 창은 8천 토큰에서 단계적으로 262,144토큰까지 확장됐다. 최종 길이는 Apertus 1.0의 네 배라는 공급자 설명이다.
공개된 학습 과정과 자료
- 8B에는 텍스트·다중모달 데이터 4조 토큰, 70B에는 2조 토큰을 추가해 총 학습량을 각각 19조·17조 토큰으로 제시한다. 추가 자료에서도 텍스트만의 토큰이 절반을 넘는다고 밝힌다.
- 사전학습은 비짝지은 이미지·오디오, 설명·전사문과 짝지은 자료, 수학·코드 비중을 높인 마무리 단계, 긴 문맥 확장 순서로 진행됐다. 후속 학습은 지도 미세조정, 장문맥 미세조정, 검증 가능한 보상의 강화학습, 선호도 최적화, 헌장 정렬로 이어졌다.
- Swiss AI는 가중치, 데이터 출처, 학습 단계별 체크포인트와 평가 코드·기록을 연결한다. 공개 범위는 재현 가능성의 근거지만 모든 사용 환경의 성능 보증은 아니다.
벤치마크를 해석하는 조건
- 텍스트 평가에 이미지·오디오와 추론 모드 평가를 더했다. 공급자는 8B 모델의 명령 준수·다국어 과제 개선, AIME 같은 추론 평가의 사고 모드 효과, Swiss Legal과 번역 과제의 비교 결과를 보고한다.
- 비교군은 모델 크기와 과제에 따라 달라진다. 공급자도 최상위 공개 가중치 모델보다는 뒤진다고 설명하므로 일부 과제의 결과를 전체 성능 우위로 읽을 수 없다.
- 평가 카드는 누가 실행했는지, 모델 접근 방식과 생성 설정, 지표 해석을 함께 기록한다. 결과 비교에는 평가 데이터·과제, 모델 버전, 설정을 맞춰야 하며 원문 요약만으로 하드웨어별 속도나 실제 배포 품질을 판단할 수 없다.
함께 확인할 조건
- 성능 우위와 동급 비교는 Swiss AI의 자체 평가 설명이다. 과제·데이터·비교 모델 버전·생성 설정을 맞추지 않은 일반적 우위나 현장 성능으로 확대할 수 없다.
- 원문은 음성 처리 기능을 실험적으로 설명한다. 이미지·오디오를 이해하지만 이미지·오디오를 생성하지 않는다.
- 원문에 제시된 262,144토큰은 지원 문맥 길이이며 모든 길이에서 동일한 품질을 입증하는 수치는 아니다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
Swiss AI · 기술 블로그 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.