AI 연구연구 프리프린트
코드 수리 AI에 잘못된 계획을 주면 실패가 크게 늘었다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)코드 수리 모델에 그럴듯하지만 틀린 소프트웨어 메커니즘을 넣은 실험에서, 가설보다 구현 계획 단계에 오류가 있을 때 실패가 훨씬 잦았다.
연구 방법
- 연구진은 디스크 기반 대기열과 출발점별 경로 제한이라는 합성 Python 수리 과제 두 개를 만들고 잘못된 메커니즘을 가설 또는 구현 계획에 배치했다. 1844개 모델 요청의 프롬프트·응답·후보·실행 기록을 연결하고 전체 계약 시험과 구체적 의무 시험을 분리했다. 후보를 재구성한 1633개만 생성 코드 결과로 평가했다.
평가 결과
- 실험 조합을 맞춘 비교에서 잘못된 계획을 받은 경우의 실패율은 가설에만 넣은 경우보다 대기열 과제에서 32.2%포인트, 경로 과제에서 28.9%포인트 높았다. 원자료에서는 각각 21.9→54.7%, 53.4→83.0%였다. 의무별 실행 검사로 격리·복구 또는 출발점 보존 실패의 형태도 나눴다.
적용 조건
- 두 통제된 합성 과제와 당시의 모델 구성에서 관찰한 관계다. 실제 저장소·언어·자연 발생 버그 전반의 효과 크기라고 할 수 없다. 일부 요청은 응답·재구성 후보가 없었고 실행 검사도 완전한 명세가 아니다. 계획 검사가 두 번째 수리 성공률을 높이는지는 아직 시험하지 않았다.
함께 확인할 조건
- 두 통제된 합성 과제와 당시의 모델 구성에서 관찰한 관계다. 실제 저장소·언어·자연 발생 버그 전반의 효과 크기라고 할 수 없다. 일부 요청은 응답·재구성 후보가 없었고 실행 검사도 완전한 명세가 아니다. 계획 검사가 두 번째 수리 성공률을 높이는지는 아직 시험하지 않았다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.