AI 연구연구 프리프린트
ToolBottleneckBench, 에이전트 도구 성능을 실행 상한과 함께 측정
원문 읽기 · arxiv.org ↗(새 탭에서 열림)도구 에이전트의 점수는 모델 자체뿐 아니라 어떤 도구를 보여주고 한 번에 얼마만큼 출력하도록 허용했는지에 따라 달라진다는 연구다.
실험 설계
- 같은 요청과 정답을 유지한 채 등록 도구, 보이는 메뉴, 허용 흐름, 반환 기록 형식을 하나씩 바꿨다.
- 각 실패의 첫 미충족 의무와 실행 상한 발동 여부를 정확한 채점기로 남겼다.
도표 크게 보기 ↗ (새 탭에서 열림)과제군과 네 압력을 정한 뒤 같은 예산 조건에서 아홉 의무와 종료 상한을 기록한다. 방법 설계 개요이며 실제 모델 간 성능 수치 자체는 아니다.
출처: Zichuan Xu, Yuyang Dong, Makoto Onizuka, Chuan Xiao · Figure 1 · arXiv:2610.21098v1
원문 도표·설명 ↗ · CC-BY-4.0
SVG 원본을 흰 배경의 PNG로 변환하고 표시 폭 1280px로 조정했다. 도표의 내용·축·범례·색상은 변경하지 않았다.
관찰
- 21개 모델·실행 환경 조합에서 메뉴 확대가 큰 손실을 보였고 완료 상한 잘림과 동행했다.
- 상한을 16배로 늘리자 잘림이 많은 조합에서 메뉴 손실 대부분이 사라졌다.
해석 범위
- 도구가 많아 모델이 실패했다고 단정하기 전 실행 예산과 도구 노출 정책을 함께 보고해야 한다.
- 합성 과제이므로 실제 업무와 장기 운영에 그대로 적용할 수 없다.
함께 확인할 조건
- 합성 기업 업무와 21개 모델·실행 조합의 결과로 실제 조직의 도구 작업을 대표하지 않는다.
- 실패 위치 기록은 원인을 직접 설명하지 않으므로 별도 실행 추적과 상한 검증이 필요하다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.