AI 연구연구 프리프린트
의료 AI 다중 에이전트의 프롬프트 주입, 사실·판단 분리로 완화
원문 읽기 · arxiv.org ↗(새 탭에서 열림)의료 AI 에이전트가 공유 문서의 잘못된 임상 판단에 영향을 받는 문제를 검증한 연구가 나왔다. 관찰 사실과 판단을 분리해 확인하는 방어는 MedQA 실험에서 공격 성공률을 4~7%로 낮췄다.
문제와 방법
- 여러 의료 AI 에이전트가 같은 사례 문서를 읽으면 하나의 잘못된 임상 판단이 공동 결정에 영향을 줄 수 있다. 연구진은 환자의 관찰 사실과 진단·권고를 분리한 뒤 각 판단의 근거를 다시 확인하도록 했다.
평가 결과
- 두 다중 에이전트 시스템, 두 공개 모델 계열, 세 벤치마크에서 공격을 시험했다. MedQA에서 방어 적용 뒤 공격 성공률은 4~7%였고, 공격 없는 정확도 변화는 1%포인트 미만이었다.
한계
- 확인 모델의 의학 지식이 부족하면 참된 판단을 제거할 수 있다. 관찰값 자체를 바꾸는 공격에는 적용되지 않으며 실제 환자 진료에서의 안전성을 입증하지 않았다. 비심사 프리프린트다.
함께 확인할 조건
- 평가는 공개 모델·정해진 임상 질문 벤치마크에 한정된다. 참된 의학 지식을 확인 모델이 놓치면 유익한 문서 내용도 삭제할 수 있고 원자료 자체가 변조되면 방어 범위 밖이다. 비심사 프리프린트다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.