AI 연구연구 프리프린트
강한 LLM 판정기도 배포 구성 변경을 출력만 보고 알아채지 못했다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)DIB-Bench는 에이전트 평가 점수만으로 실제 배포 구성의 변경을 확인할 수 없다는 문제를 다뤘다.
연구 방법
- 연구진은 모델·토크나이저·시스템 지시·도구 명세 등 여섯 구성 요소의 변경을 합성 환경에서 시험했다. 출력 평가기와 선언된 구성 요소 해시를 비교하는 신원 채널을 분리했다.
평가 결과
- 7,560개 채점 사례에서 변조된 배포의 평균 통과율은 규칙 기반 평가 88.6%에서 GPT-5-nano 판정 94.1%로 높아졌다. 평가 입력에서 출력 변화가 없는 경우는 출력만으로 식별할 수 없고, 선언된 구성 요소 해시가 별도 변경 근거를 준다.
적용 조건
- 실험의 중심은 합성 과제와 단일 구성 요소 변경이다. 구성 목록 밖의 요소·위조된 manifest·실제 대규모 운영 환경까지 보장하지 않으며 해시 검사는 선언하고 측정한 범위에 한정된다.
함께 확인할 조건
- 실험의 중심은 합성 과제와 단일 구성 요소 변경이다. 구성 목록 밖의 요소·위조된 manifest·실제 대규모 운영 환경까지 보장하지 않으며 해시 검사는 선언하고 측정한 범위에 한정된다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.