AI 연구연구 프리프린트
‘고쳐라’ 피드백이 명세 빈틈 찾기를 방해…Verus 12과제 실험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)형식 검증에서 코드를 통과시키는 것과 명세가 빠뜨린 요구를 찾는 것은 목적이 다르다. 이 연구는 일부 조건을 뺀 Verus 계약을 만족하지만 원래 의도된 동작을 어기는 프로그램을 먼저 찾고 보존한 뒤, 계약 수정을 시작하는 절차를 비교했다.
연구 방법
- 12개 Rust/Verus 함수에서 독립 생성, 실제 수정 피드백이 있는 반복 생성, 내용 없는 형식상 피드백, 발견 후 단계 분리를 네 모델 계열과 동일 세 번의 호출 예산으로 비교했다. 증인은 약화된 계약 통과, 원래 조건 복원 시 검증 실패, 컴파일·실행, 공식 테스트 사례와 행동 불일치라는 네 관문으로 인증했다.
평가 결과
- 독립 탐색은 144회 중 85회(59.0%) 증인을 얻었고 수정 피드백 반복은 39회(27.1%)였다. 형식상 피드백만 주면 71회(49.3%)로 차이의 주된 부분이 피드백 내용과 연관됐다. 별도 단계 분리 실행도 85/144였고, 보존한 증인에 따른 명세 수정의 구현 성공은 81.3%로 비교 수정의 62.5%보다 높았다.
적용 조건
- 원 논문도 Dafny·Lean 전이 평가에서 같은 효과를 재현하지 못했다고 명시한다. 12개 Verus 과제와 선택된 프롬프트·모델·공식 테스트 관문에 대한 결과이며 생성 모델 내부 기제를 입증하지 않는다. 원래 계약이 검증을 통과한다는 것만으로 사양이 완전하다는 뜻은 아니다.
함께 확인할 조건
- 원 논문도 Dafny·Lean 전이 평가에서 같은 효과를 재현하지 못했다고 명시한다. 12개 Verus 과제와 선택된 프롬프트·모델·공식 테스트 관문에 대한 결과이며 생성 모델 내부 기제를 입증하지 않는다. 원래 계약이 검증을 통과한다는 것만으로 사양이 완전하다는 뜻은 아니다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.