AI 안전성연구 프리프린트
다자 채팅 에이전트의 약속 해제 권한, 직급보다 당사자 관계가 중요
원문 읽기 · arxiv.org ↗(새 탭에서 열림)여러 사람이 같은 에이전트를 지시할 때 약속의 취소 권한을 대화 참가자의 직급만으로 판단하면 잘못된 실행이나 취소가 생길 수 있다는 연구다.
시험 설계
- 회사 채널을 모사한 15개 조건에서 요청자·지정 대리인·동료·관리자·봇의 취소와 재개 발언을 비교했다.
- 간접 취소 전달은 요청자에게 확인하고 사실 주장도 검증하도록 기준 행동을 정했다.
관찰
- 작은 모델은 해제된 약속을 실행하는 경우가 있고 큰 모델은 권한 없는 직접 취소에 따르기도 했다.
- 자체 상태 원장만으로는 잘못된 해제도 기록했다. 해제 권한 규칙과 함께 쓴 gpt-6-luna는 엄격 정확도 49%에서 83%로 높아졌다.
해석 범위
- 대화와 정답이 합성이고 영어에 한정되므로 실제 도구 실행 승인 체계에서 재현되는지 확인해야 한다.
- 원장은 기록할 사건의 권한 규칙과 함께 설계돼야 한다.
함께 확인할 조건
- 합성 영어 대화와 미리 정한 약속 유형·응답에 한정된다.
- 대부분 한 번 샘플링했고 한 저자가 판정 일부를 주석 처리해 실제 조직 적용을 입증하지 않는다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.