AI 에이전트연구 프리프린트
KnowGPO, 검색 에이전트 학습에서 지식 획득 단계에 보상
원문 읽기 · arxiv.org ↗(새 탭에서 열림)KnowGPO는 검색 에이전트가 얻은 정보를 작은 지식 조건으로 나눠 같은 지식 상태의 단계끼리 비교하는 강화학습 방식이다.
방법
- 정답과 성공 궤적에서 질문별 지식 조건을 만들고, 각 검색 단계가 새로 충족한 조건을 표시한다.
- 같은 지식 상태에서 출발한 단계의 지식 증가량을 비교해 최종 정답 보상과 결합한다.
비교 결과
- 같은 초기 체크포인트·도구 설정에서 GRPO, GiGPO, IGPO와 비교했다. BrowseComp-ZH는 38.8%, GAIA 텍스트 부분집합은 40.2%였다.
- Xbench 두 분할도 평가했으며 연구진은 세 평가군에서 단계 감독 기준보다 높은 점수를 보고했다.
한계
- 정답을 알아야 지식 조건을 만들 수 있고 외부 언어 모델 검증 오류가 학습 신호로 들어갈 수 있다.
- 프리프린트의 제한된 검색 평가로 실제 검색 서비스 품질을 확정할 수 없다.
함께 확인할 조건
- Qwen3-8B와 세 연구 벤치마크에서 확인한 결과이며 다른 서비스·도메인에서의 성능을 입증하지 않는다.
- 지식 조건 생성과 DeepSeek-v3.2 검증자의 정확도에 결과가 의존한다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.