AI 연구연구 프리프린트
실시간 AI 에이전트 벤치마크, 가장 높은 성공률도 44%
원문 읽기 · arxiv.org ↗(새 탭에서 열림)Realtime-Bench는 웹·게임 화면이 계속 바뀌는 동안 AI가 제때 관찰하고 행동하는지를 50개 상호작용 과제로 평가한다.
연구 방법
- 12개 모델을 실제 추론 지연이 반영되는 Wall Clock으로 시험했다. 추론 중 환경을 멈추는 Paused Clock, 생성 토큰 수에 따라 가상 시간이 흐르는 Token Clock도 비교해 서버 지연과 사고 시간의 영향을 분리했다.
평가 결과
- Wall Clock에서 모델 최고 성공률은 44%, 같은 과제를 세 번 모두 성공한 비율의 최고치는 36%였다. 6개 모델의 추가 비교에서 생각 시간을 늘리면 정지된 환경에서는 도움이 됐지만 시간이 흐르는 환경에서는 모델별로 이득과 손실이 엇갈렸다.
적용 조건
- 50개 선별된 웹·게임 과제와 1 FPS 관찰 설정의 결과다. Wall Clock 수치는 당시 제공 인프라와 지연에 영향받으며 현실의 모든 작업 성능을 대표하지 않는다. Token Clock도 고정 토큰 속도의 모사 환경이다.
함께 확인할 조건
- 50개 선별된 웹·게임 과제와 1 FPS 관찰 설정의 결과다. Wall Clock 수치는 당시 제공 인프라와 지연에 영향받으며 현실의 모든 작업 성능을 대표하지 않는다. Token Clock도 고정 토큰 속도의 모사 환경이다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.