AI 연구연구 프리프린트
에이전트 강화학습의 비동기 실행과 궤적 보존을 묶은 LoongSage
원문 읽기 · arxiv.org ↗(새 탭에서 열림)긴 도구 사용 궤적과 훈련·추론의 버전 차이를 관리하는 에이전트 강화학습 인프라다.
배경과 구조
- 긴 에이전트 실행은 궤적 저장·추론과 훈련의 동시 진행·정책 버전 차이를 관리해야 한다. LoongSage는 생성 토큰을 다시 토큰화하지 않고 저장하며 제어기 하나가 Megatron 훈련과 SGLang 추론을 조정한다.
실험 근거
- 소프트웨어 과제·수학 추론·OpenCode·다중 교사 증류 네 전체 학습 실행은 각각 한 번이었다. 별도 Qwen3-30B-A3B 수학 프롬프트, 16 GPU·100단계 비교에서 동위치 동기 평균 580.79초/단계, 8:8 비동기 평균 428.76초/단계였다.
적용 조건
- 비동기 이득에는 서로 다른 GPU 배치와 특정 긴 꼬리 작업 분포가 포함된다. Codex·Claude Code 프로토콜 어댑터는 개발 중이며 하위 에이전트 가지는 학습에 넣지 않는다. 16일 수정 v2를 12일 최초 공개로 바꾸지 않는다.
함께 확인할 조건
- 속도 비교는 특정 수학 프롬프트·16 GPU 배치와 동기/비동기 자원 배치의 결과다. 전체 학습 네 설정은 각각 한 번 실행됐고 Codex·Claude Code 어댑터는 개발 중이며 하위 에이전트 구간은 훈련하지 않는다. 12일 v1은 검수 시 7일 이내지만 채팅 48시간 밖인 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.