AI 연구기술 블로그
IBM, 에이전트 학습 지침으로 τ²-bench 소매 Pass⁴ 67.5% 보고
원문 읽기 · IBM Research ↗(새 탭에서 열림)IBM Research가 ALTK-Evolve의 고객 서비스 에이전트 실험을 공개했다. 가중치 변경 대신 과거 작업에서 뽑은 지침을 프롬프트에 넣었다.
평가 조건과 성적
- τ²-bench의 기본 ReAct 구조에 GPT-4.1을 쓰고 각 문제를 네 번 반복했다. 소매 held-out 40문제에서 Pass⁴는 57.5%에서 67.5%로 올랐다.
- 전체 base split 소매 리더보드 수치도 67.5%지만 held-out 평가와 분모가 다르다.
해석의 한계
- 고객은 LLM 시뮬레이터이고 실제 센터의 만족도·비용·안전 결과는 아니다.
- 소매 대화당 비용은 지침 길이에 따라 0.084달러에서 0.139달러로 올랐다.
함께 확인할 조건
- 고객 역할은 GPT-5.5 시뮬레이터로 실제 상담 성과가 아니다.
- 긴 지침은 소매 대화 비용을 0.084달러에서 0.139달러로 늘렸다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
- 벤치마크Benchmark벤치마크는 모델들을 같은 과제, 데이터, 채점 절차로 비교하기 위한 평가 묶음이다. 점수는 특정 조건에서의 성능을 보여주므로 실제 업무의 데이터나 안전 요구를 대변하는지 확인해야 하며, 공개 문제에 익숙해진 모델은 점수가 과대평가될 수 있다.
- AI 에이전트AI agentAI 에이전트는 목표와 지시, 행동 범위를 받아 도구와 외부 시스템을 이용해 사용자를 대신하여 작업을 진행하는 시스템이다. 단순히 질문에 답하는 챗봇보다 여러 단계를 계획하고 실행할 수 있지만, 허용된 도구와 권한 안에서만 움직이도록 설계해야 한다.
출처와 편집 기준
IBM Research · 기술 블로그 · 검수 2026.10.21 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.