AI 안전성연구 프리프린트
의료 LLM 에이전트, 정보 충돌 때 이관을 놓치는지 합성 과제로 평가
원문 읽기 · arxiv.org ↗(새 탭에서 열림)의료 LLM 에이전트가 자료가 늦거나 서로 어긋날 때 어느 순간 사람에게 넘겨야 하는지를 합성 작업으로 시험한 연구다.
평가 설계
- 40개 의미 시드에 정보 누락·충돌·지연 등을 적용해 400개 합성 에피소드를 만들고 답변·질문·중단·이관 행동을 채점했다.
- 검증은 다섯 공개 가중치 모델에 한정되며 기준 행동은 한 연구자가 정한 정책이다.
관찰
- 일부 불확실성 지시 조건에서 필요한 이관을 32~97% 놓쳤다. 말로 표현한 자신감은 오류 예측 신호로 일관되지 않았다.
- 작업 상태 신호를 쓰는 규칙 컨트롤러는 정해진 어휘에서 미이관율을 12~24%로 낮췄으나 새 표현 30개에서는 규칙 검출률이 0이었다.
한계
- 단일 연구자 정책 레이블의 일치도를 본 것으로 임상 정확도와 환자 안전을 측정하지 않았다.
- 합성 시드와 규칙 어휘가 한정되어 별도 의사 검토, 새로운 표현·기관에서의 재현이 필요하다.
함께 확인할 조건
- 레이블은 단일 저자의 연구 정책이며 임상의가 검수한 정답이나 임상 안전성 지표가 아니다.
- 400개 에피소드는 40개 시드의 변형이고 모델·어휘 범위가 좁아 현장 성능을 예측할 수 없다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.