AI 연구연구 프리프린트
AI 논리 추론 점수, 같은 문제의 표현을 바꾸면 안정성이 떨어졌다
원문 읽기 · arxiv.org ↗(새 탭에서 열림)한 문제의 정답률이 높아도 같은 규칙을 다른 표현에 안정적으로 적용한다고 볼 수 있는지 확인한 평가 연구다.
배경과 평가 설계
- 연구진은 순서 규칙을 유지하면서 개체 수를 n=4부터 1024까지 늘리고 앞/뒤 문장, 이름과 전제 순서를 바꾸는 짝 문제를 생성했다. 여섯 GPT·Qwen 기본 모델을 크기별 200쌍으로 시험해 각 표현의 정확도와 양쪽 정답 비율을 분리했다.
관찰된 변화
- GPT-4.1의 앞/뒤 문제에서 유효 응답쌍 기준 양쪽 정답 비율은 n=4의 97.0%에서 n=1024의 56.8%로 떨어졌다. 같은 구간의 불변성은 97.5%에서 67.3%였다. 별도 실험에서는 GPT-5.4의 추론량 증가와 Qwen3.5-9B의 GRPO 학습이 성공 구간을 넓혔지만 긴 문제 또는 표현 변화의 실패는 남았다.
해석 조건
- 짝 문제의 양쪽 정답은 단순 응답 일치와 다르다. 순서 문제의 개체 수는 입력 길이와 문장 처리 부담도 늘리고 끝점 답변에는 지름길이 가능해, 이 수치만으로 다단계 추론 깊이의 한계를 특정할 수 없다. 유한한 생성 문제군의 결과를 일반 논리 능력 전체로 넓히지 않아야 한다.
함께 확인할 조건
- 97.0%와 56.8%는 GPT-4.1의 앞/뒤 순서 문제에서 원본·동등 표현 모두 정답인 유효 응답쌍 비율이며 전체 AI 모델이나 모든 추론 문제의 성공률이 아니다. n 증가에는 입력 길이와 표현 부담이 함께 있고 끝점 질문은 지름길을 허용한다. 추론 노력과 학습 실험은 서로 다른 모델·설정의 별도 조건이다. 비심사 프리프린트다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.