AI 연구·벤치마크기술 블로그
의료 AI, 답변보다 업무 완료로 평가하니 최고 모델도 절반 미만
원문 읽기 · Stanford HAI ↗(새 탭에서 열림)Stanford HAI 연구진은 의료 AI가 질문에 그럴듯하게 답하는 것과 전자의무기록에서 필요한 조치를 끝까지 실행하는 것을 구분했다. 세 평가 체계의 수치가 보여주는 것은 실제 업무 완료를 별도로 측정해야 한다는 점이다.
단일 답변 평가에서 업무 흐름 평가로
- MedHELM은 29명 임상의의 입력으로 5개 대분류·22개 하위 분류·121개 의료 업무를 정의하고 37개 데이터셋에서 9개 모델을 평가했다. 여기서 제시한 0~1 win rate는 모델 간 쌍별 우위 비율이다.
- 연구진은 임상 의사결정과 행정·워크플로 범주가 상대적으로 약한 영역이라고 보고, 후속 평가는 도구 사용 뒤 EHR·포털의 최종 상태까지 확인하도록 설계했다.
임상·행정 과제의 완료율
- PhysicianBench는 실제 진료 상담에서 각색한 100개 장기 과제와 21개 전문 분야를 합성 환자 기록의 EHR 샌드박스에서 시험했다. 과제별 평균 도구 호출은 27회이고 전체 670개 검사에는 주문의 실제 존재 확인과 추론·기록 평가가 포함된다. 12개 모델 중 최고인 GPT-5.5는 한 번의 시도에서 46%를 완료했고 세 번 모두 성공한 과제는 28%였다.
- HealthAdminBench는 관리자를 100시간 넘게 관찰한 뒤 EHR·보험자 포털 2개·팩스 모의 환경을 만들었다. 사전 승인 60개, 이의신청 60개, 의료장비 주문 15개를 1,698개 검증 항목으로 채점했다. 최고 에이전트 Claude Opus 4.6의 전체 완료율은 36.3%였다.
- 행정 평가에서 GPT-5.4는 하위 과제 82.8%를 통과했지만 전체 과제는 26.7%만 끝냈다. 임상 평가에서는 올바른 조치를 메모에 쓰고도 EHR 주문을 넣지 않는 실패가 관찰됐다.
해석 조건과 다음 평가 기준
- 46%와 36.3%는 과제·모델·인터페이스·채점법이 다른 별개 벤치마크의 결과여서 모델 간 우열이나 개선 폭으로 직접 비교할 수 없다. 방향성은 두 평가 모두 최고 에이전트의 전체 업무 완료가 절반 미만이었다는 것이다.
- 기록은 합성 재구성 또는 시뮬레이션 환경이며 실제 환자 안전성, 의료기관 배포 성과, 비용 절감을 입증하지 않는다. 현장 평가에는 주문·제출·문서화의 최종 상태와 반복 실행의 재현성을 별도로 확인해야 한다.
함께 확인할 조건
- PhysicianBench와 HealthAdminBench의 46%와 36.3%는 환경·모델 집합·인터페이스·채점 기준이 달라 직접 비교할 수 없다.
- 과제는 합성 재구성 환자 기록과 시뮬레이션 환경에서 수행됐으며 실제 환자 결과·현장 배포 성과를 보여주지 않는다.
- MedHELM의 win rate는 쌍별 비교 비율이며 실제 업무 완료율과 다른 지표다.
- 연구진이 작성한 기고로 독립 재현 결과는 제시하지 않는다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
Stanford HAI · 기술 블로그 · 검수 2026.10.20 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.