AI 연구연구 프리프린트
연관된 여러 PR을 한 과제로 묶어 코드 에이전트를 평가하는 WEAVE
원문 읽기 · arxiv.org ↗(새 탭에서 열림)독립 오류 수정 하나 대신 선행·후행 PR을 함께 처리하는 실제 개발 과제를 코드 에이전트 평가 단위로 만들었다.
배경과 방법
- 시간상 가까운 PR이나 같은 파일 수정만으로는 같은 목표의 의존 관계를 가리기 어렵다. WEAVE는 변경된 코드 개체를 저장소별 빈도로 보정해 제한된 DAG를 만들고 테스트를 각 변경 노드에 귀속한다. Graph Credit은 상위 변경을 완료하지 않은 하위 테스트 성공의 과대 점수를 줄인다.
실험 근거
- 30저장소의 1,198 PR과 전문가 합의 의존 연결 219개에서 평균 정밀도는 37.7%로 파일 겹침의 26.6%보다 높았다. 6언어 300개 과제에 8모델과 OpenCode·Cline을 적용했을 때 평면 테스트 통과율과 Graph Credit은 평균 10.5%포인트 차이가 났다.
적용 조건
- 관계 그래프는 관측 가능한 코드·테스트로 구성한 평가자 쪽 추정 구조여서 실제 프로젝트의 모든 인과관계를 보증하지 않는다. 벤치마크·학습 결과를 현장 배포 성능으로 확대하지 않는다. 최초 공개는 15일 v1이고 16일 v2는 수정본이다.
함께 확인할 조건
- 의존 연결은 코드 변경 지점과 테스트에서 추정한 것이며 실제 개발 의존성을 모두 증명하지 않는다. 30저장소의 전문가 표기 219개 연결과 6언어 300개 보류 과제의 결과인 비심사 프리프린트다. arXiv v2 수정일은 최초 공개일이 아니다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.