AI 연구연구 프리프린트
테스트 실행으로 코딩 에이전트 과제 자동 구성…SWE-Nexus 600개 공개
원문 읽기 · arxiv.org ↗(새 탭에서 열림)기존 코드 변경 기록만으로 만든 과제는 여러 동작을 함께 복구하는 역량을 충분히 드러내기 어렵다. SWE-Nexus는 실제 테스트 실행 경로를 추적해 생산 코드 함수의 구현부를 가리고, 원래 테스트가 통과하면서 가렸을 때 실패하는 범위만 과제로 남겼다.
연구 방법
- 선택·추적·검증·명세 생성의 네 에이전트가 테스트 파일별 실행 범위를 만들고 원본 저장소에서 예상 점수 항목이 모두 통과하는지, 함수 구현부 마스킹 뒤 최소 한 항목이 실패하는지 확인했다. 합칠 수 있는 범위는 같은 저장소·개정판·환경에서 조합하고 전체 마스크 아래 각 구성 테스트를 다시 검증했다. 105개 저장소, 여섯 언어에서 원자 과제 116개와 합성 과제 484개를 만들었다.
평가 결과
- 모델 12개를 Claude Code·Cline·OpenCode 세 실행 틀에서 평가했다. 한 번 시도 기준 최고 완전 해결률은 Claude Code의 Claude Opus 4.8에서 37.8%였고, 같은 틀에서 GPT-5.5는 완전 해결률 33.7%지만 부분 범위 가중 점수 59.7%로 앞섰다. 쉬운 과제에서 어려운 과제로 갈수록 해결률이 크게 내려가 구성 과제가 난도 구분에 쓰일 수 있음을 보였다.
적용 조건
- 테스트가 실행하지 않는 동작과 숨은 결함은 이 방식의 관측 범위 밖이다. 함수 구현부를 가린 복원 과제는 실제 이슈 해결과 작업 조건이 다르며, 200턴·6600초 제한과 실행 틀에 따라 순위가 달라진다. 해결률과 부분 점수는 동일한 역량 지표가 아니다.
함께 확인할 조건
- 테스트가 실행하지 않는 동작과 숨은 결함은 이 방식의 관측 범위 밖이다. 함수 구현부를 가린 복원 과제는 실제 이슈 해결과 작업 조건이 다르며, 200턴·6600초 제한과 실행 틀에 따라 순위가 달라진다. 해결률과 부분 점수는 동일한 역량 지표가 아니다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.