AI 연구연구 프리프린트
FDE-Gym, 고객 문제를 찾아 성과까지 내는 AI 에이전트 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)FDE-Gym은 고객의 최초 요청을 그대로 구현하는 수준을 넘어 실제 업무 지표를 개선했는지 묻는다.
평가 설계
- 산업 전문가가 실제 납품 프로젝트를 각색한 20개 시나리오의 원본과 변형 95개를 만들었다. 에이전트는 문서·기존 시스템을 조사하고 모의 이해관계자와 대화한 뒤 작동하는 시스템을 제출한다.
- 점수는 보류된 평가 데이터에서 고객 성과 지표 개선을 무변경 시스템 0, 전문가 해법 1로 정규화하고, 사고와 이해관계자 연락 비용을 반영한다.
주요 결과
- 13개 모델 구성의 가장 높은 L3 평균 점수는 0.56(95% 신뢰구간 0.50~0.62)이고 95개 중 14개가 해결 기준을 충족했다. 명시된 문제와 제약을 모두 준 L0에서는 선두 모델들이 0.73~0.82를 기록해 숨은 제약 발견이 주요 병목으로 드러났다.
해석과 적용 범위
- 평가 환경은 모의 고객과 각색된 업무 시스템이다. 사람의 동일 조건 기준선은 아직 없고 75개 변형 및 기준 해법도 비공개라 실제 고객 납품 성공률로 읽을 수 없다.
- 커머스 적용은 추론이다. 고객 지원이나 상품 검수의 실제 성과 지표와 승인 제약을 측정 항목에 넣는 설계 참고자료로 볼 수 있다.
커머스 인사이트 편집 해석
커머스 고객 지원·상품 검수 에이전트의 요구 발견, 승인 절차, 실제 성과 지표를 함께 평가하는 기준을 설계할 때 참고할 수 있다.
함께 확인할 조건
- 실제 프로젝트에서 각색했지만 이해관계자와 고객 환경은 모의 구성이고, 75개 변형과 전문가 해법은 비공개다.
- 사람의 L3 기준선은 아직 수집 중이며, 결과는 공통의 최소 에이전트 프레임워크에 한정된다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다. 용어가 낯설다면 AI 용어집를 참고할 수 있다.