AI 연구연구 프리프린트
SciΠvot, 자율 연구 에이전트의 과학적 판단을 시험
원문 읽기 · arxiv.org ↗(새 탭에서 열림)SciΠvot은 연구 에이전트가 제시한 계획과 선임 연구자의 수정안을 비교해, 에이전트가 더 나은 다음 실험을 고르는지 평가한다.
연구 방법
- 6개월 동안 6개 분야 26개 연구 프로젝트에서 발생한 인간의 교정 사례 248건을 구성했다. 평가자는 교정 이전의 프로젝트 기록과 두 계획을 보고, 후속 연구에 더 도움이 되는 계획을 선택한다.
평가 결과
- 중간 추론 설정에서 프로젝트 기록을 제공받은 다섯 모델 가운데 네 모델이 선택된 사례에서 우연 수준인 50%보다 낮았다. 시험한 모든 모델·추론 설정 중 프로젝트 기록 조건 최고는 63.5%였고, 새 연구자 집단의 기준은 73.4%였다. 프로젝트 기록을 제공할 때 중간 설정의 모든 모델 점수가 기록 없는 조건보다 낮았다.
적용 조건
- 모델 응답이 갈린 248개 사례를 선별한 도전 세트라 실제 연구 업무 전체의 오류 빈도를 추정할 수 없다. 기존 계획과 인간 수정안 중 선택하는 능력만 측정하며 계획 생성·실험 수행은 별개다. CPU/GPU 기반 이론·계산 연구 중심이고 도구 인터페이스와 연산 예산도 모델별로 다르다.
함께 확인할 조건
- 모델 응답이 갈린 248개 사례를 선별한 도전 세트라 실제 연구 업무 전체의 오류 빈도를 추정할 수 없다. 기존 계획과 인간 수정안 중 선택하는 능력만 측정하며 계획 생성·실험 수행은 별개다. CPU/GPU 기반 이론·계산 연구 중심이고 도구 인터페이스와 연산 예산도 모델별로 다르다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.