AI 평가연구 프리프린트
FEB-30, 에이전트 기억 평가에서 답변 정확도와 저장 내용의 차이 확인
원문 읽기 · arxiv.org ↗(새 탭에서 열림)FEB-30은 문서가 들어올 때마다 에이전트 기억 저장소에 어떤 사실이 남아야 하는지를 아는 30개 변화 궤적의 평가 자료다.
평가 구성
- 정답 사실이 먼저 정해진 30개 변화 궤적에서 문서·이메일·대화 자료를 생성했다.
- 매 입력 후 저장소의 사실을 직접 평가하고 별도로 최종 답변도 평가했다.
발견
- 저장 상태와 최종 답변 점수의 평균 절대 차이는 16%포인트였고 궤적 44%에서 15%포인트보다 큰 차이가 있었다.
- 평가한 시스템은 생성·갱신·강화·대체 같은 기억 작업을 20%만 올바르게 분류했다.
범위
- 합성 자료와 하나의 구현에서 확인한 진단 결과다. 절차 기억이나 단발 대화 회상은 다루지 않는다.
함께 확인할 조건
- 합성 문서는 실제 여러 작성자의 모든 문서 특성을 재현하지 못한다.
- 30개 궤적·한 대표 시스템의 진단이며 임베딩·언어 모델 판정에도 오차가 있을 수 있다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.