AI 안전성연구 프리프린트
PROBE, 도구 사용 에이전트의 업무 규칙 준수를 대화로 점검
원문 읽기 · arxiv.org ↗(새 탭에서 열림)PROBE는 고객처럼 대화하는 작은 감사 모델을 학습해 도구를 쓰는 에이전트가 가격·확인·개인정보 등 운영 규칙을 어기는지를 찾는다.
평가 구조
- 감사 모델은 표면 대화만 보고 목표 에이전트와 상호작용하고 검증기는 도구 기록을 포함한 전체 경로를 확인한다.
보류 결과
- 20개 정책의 모의 항공 예약 환경에서 최고 학습 감사 모델은 12개 정책의 위반을 찾았다.
- 결정론적 재채점은 판정 모델의 거짓 양성을 제거해 최고 결과를 60%에서 55%로 낮췄다.
한계
- 실제 고객·결제 업무에서의 규칙 준수율이나 감사 도구의 안전성은 확인하지 않았다.
함께 확인할 조건
- 모의 항공 예약 환경이며 실제 운영 시스템의 위반 빈도를 뜻하지 않는다.
- 학습 시 언어 모델 판정 오류가 포함되어 원 수치보다 재채점 결과가 낮았다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.