AI 연구연구 프리프린트
사용자별 요청을 반영하면 컴퓨터 사용 에이전트 점수가 달라졌다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)고정된 벤치마크 과제의 성공과 사용자가 대화에서 실제로 원한 행동이 다를 수 있음을 보인 평가다.
배경과 설계
- 연구진은 74개 웹 과제의 원래 지시를 44개 가상 페르소나가 자기 언어와 제약으로 다시 말하게 했다. 에이전트는 원래 지시나 프로필을 보지 않고 대화로 요구를 확인하며, 행동 과제는 실제 거래가 없는 복제 환경에서 수행했다.
실험 근거
- 9개 모델·3,330회 실행에서 원래 과제 기준 평균 완료 점수는 0.689에서 0.441로 줄었다. 점수를 잃은 셀 가운데 59.9%는 드러난 요구를 다뤘지만 놓쳤고 11.2%는 초안·검토 뒤 멈추라는 요구를 따랐으나 채점기가 실패로 셌다.
적용 조건
- 손실 셀 비율은 전체 점수 손실의 기여율이 아니다. 가상 사용자의 자기 만족 평정은 실제 사람의 평가를 대신하지 못한다. 단일 브라우저 과제와 구성된 페르소나의 결과를 실제 인구 집단의 차이로 일반화하지 않는다.
함께 확인할 조건
- 점수는 원래 과제 기준이므로 바뀐 사용자 요구와 실행 실패가 섞여 있다. 59.9%·11.2%는 손실 셀 유형의 비율이지 점수 감소분의 분해가 아니다. 만족도는 페르소나 역할 LLM의 평정이며 실제 사용자나 데스크톱·장기 기억 과제를 평가하지 않은 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.