AI 연구연구 프리프린트
즉시 판단 모델과 추론 모델 비교…정적 정확도와 연속 행동은 달랐다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)한 번의 전방 계산으로 선택지 확률을 내는 즉시 판단 모델이 어디까지 쓸 만한지 살피는 System1-Arena가 공개됐다. 30개 모델에 같은 의사결정 요청을 주고 정적 질문 성능과 환경이 변하는 연속 작업의 성공률을 나눠 평가했다.
연구 방법
- 벤치마크는 공개 소스 268개에서 105개 작업의 약 9만2000개 질문을 구성하고 웹 쇼핑·코딩 제어·로봇·게임·주행을 포함한 138개 연속 환경을 둔다. 폐쇄형 LLM 7개, 공개형 LLM 13개, 즉시 판단 모델 10개의 정확도·확률 보정·지연·비용을 비교한다.
평가 결과
- 큰 즉시 판단 모델은 비에이전트 과제에서 빠른 폐쇄형 LLM과 비슷하거나 더 높은 정확도를 보였고 보고된 지연은 약 4분의 1이었다. 반면 연속 환경에서는 비슷한 개별 단계 정확도 67.4~71.3%를 보인 모델들의 전체 성공률이 5.7~32.9%로 벌어졌다. 오류가 다음 상태에 영향을 주는 작업에는 별도 검증이 필요하다.
적용 조건
- 공개 오래된 자료가 학습에 포함됐을 가능성이 있고 출처 라벨 잡음도 그대로 따른다. 온라인 서비스의 지연에는 네트워크가 포함되고 가격은 실험 시점에 따른다. 단일 표본 응답의 재실행 분산은 측정하지 않았다. 의료·법률·금융·안전 결정에 적합하다는 근거로 해석할 수 없다.
함께 확인할 조건
- 공개 오래된 자료가 학습에 포함됐을 가능성이 있고 출처 라벨 잡음도 그대로 따른다. 온라인 서비스의 지연에는 네트워크가 포함되고 가격은 실험 시점에 따른다. 단일 표본 응답의 재실행 분산은 측정하지 않았다. 의료·법률·금융·안전 결정에 적합하다는 근거로 해석할 수 없다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.