AI 연구연구 프리프린트
대화 상황별 규칙을 매 턴 점검하는 SIT-Eval
원문 읽기 · arxiv.org ↗(새 탭에서 열림)대화의 최종 답 하나 대신 매 순간 필요한 행동 규칙을 평가하는 틀이다.
배경과 방법
- 자연 대화 자료에는 드문 상황이 적고 대화 전체 점수는 중간의 규칙 위반을 가린다. SIT-Eval은 학생 역할 모델이 상황을 균등 표집하고 해당 상황에서 적용할 규칙을 판정자에게 준다.
검증 근거
- 수학 튜터용 12개 규칙과 9개 학생 행동을 만들었다. 사람 3명이 확인한 황금 대화 100개·1,292턴에서 잡음은 0.85%였고 LLM 판정자는 3,145개 규칙 판정 중 2,655개를 맞혔다. 모델별 규칙 점수는 특히 모호함 명확화에서 낮았다.
적용 조건
- 판정자는 틀린 응답을 지나치게 엄격하게 보는 편향이 있었다. 균등 표집은 현실의 상황 비율과 다르며 교육 규칙의 문화·분야 이식성과 실제 학생 학습 효과는 검증하지 않았다.
함께 확인할 조건
- 수학 튜터와 서구권 소크라테스식 규칙에 맞춘 합성 대화다. 균등한 상황 빈도는 실제 대화를 반영하지 않으며 학습 향상 같은 결과도 측정하지 않았다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.