AI 에이전트연구 프리프린트
MLExpert, 머신러닝 개발 22개 과제에서 기본 모델 메달률 37.9%→72.7%
원문 읽기 · arxiv.org ↗(새 탭에서 열림)MLExpert 연구진은 머신러닝 개발 과정의 중간 실험 결과로 모델을 추가 학습하고 제한된 과제에서 기본 모델과 비교했다.
학습 방식
- 35B 혼합 전문가 기본 모델에 도구 사용·코딩과 머신러닝 개발 작업의 지도학습을 적용한 뒤, 실험 결과 사이의 작업 구간에 보상을 부여해 추가 학습했다.
- 실행 결과를 기다리는 동안 서로 다른 작업 구간을 비동기 수집하고 학습 시점과 작업 실행 시점의 정책 차이를 보정하는 설계를 제시했다.
벤치마크 결과
- 역사적 Kaggle 대회에서 뽑은 22개 과제의 MLE-Bench Lite에서 같은 실행 틀의 기본 모델 메달률은 37.9%, MLExpert는 72.7%였다. 일반 도구 사용 학습 이후 47.0%, 분야 지도학습 이후 62.1%로 단계별 차이도 보고했다.
- 별도 NatureBench Lite 10개 과제에서 기존 결과를 10% 넘긴 비율은 MLExpert 5/10이었다. 소수 과제의 저자 평가 결과로 해석해야 한다.
한계
- 각 개발 과제에는 최대 3,000번의 상호작용과 12시간, H200 GPU 한 개가 주어졌다. 성능은 이 실행 예산과 벤치마크 구성에 의존한다.
- 제한된 과제의 점수 상승은 새로운 모든 연구 문제의 해결 능력이나 반복적인 자기 개선이 실증됐다는 뜻이 아니다.
함께 확인할 조건
- 주요 평가는 22개 과제와 과제당 최대 12시간·H200 GPU 한 개 조건에 한정된다.
- NatureBench Lite는 10개 과제의 소규모 별도 평가이며 폭넓은 실제 연구 자동화나 자기 개선을 입증하지 않는다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
- 기계학습Machine Learning (ML)기계학습은 데이터의 예시에서 모델의 규칙이나 매개변수를 익혀 새로운 입력을 예측하거나 콘텐츠를 만들게 하는 인공지능의 방법이다. 사람이 모든 판단 규칙을 일일이 코딩하지 않아도 되지만, 학습 데이터와 검증 방식이 결과를 크게 좌우한다.
- 벤치마크Benchmark벤치마크는 모델들을 같은 과제, 데이터, 채점 절차로 비교하기 위한 평가 묶음이다. 점수는 특정 조건에서의 성능을 보여주므로 실제 업무의 데이터나 안전 요구를 대변하는지 확인해야 하며, 공개 문제에 익숙해진 모델은 점수가 과대평가될 수 있다.
- AI 에이전트AI agentAI 에이전트는 목표와 지시, 행동 범위를 받아 도구와 외부 시스템을 이용해 사용자를 대신하여 작업을 진행하는 시스템이다. 단순히 질문에 답하는 챗봇보다 여러 단계를 계획하고 실행할 수 있지만, 허용된 도구와 권한 안에서만 움직이도록 설계해야 한다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.