모델·연구기술 블로그
OpenAI, 저자원 언어 코딩 평가에서 GPT-6 계열 개선 발표
원문 읽기 · OpenAI ↗(새 탭에서 열림)OpenAI가 코드 자료가 적은 언어의 개발·이전 능력을 평가하는 두 과제를 발표했다. 20개 언어의 SQLite 호환 구현과 COBOL 코드 변환 결과는 모델별 조건이 다른 자체 측정이다.
20개 언어의 DB 구현
- MultiLangBench는 초기 DB와 SQL 질의를 받아 수정된 DB를 내는 프로그램을 만들게 한다. 참조 SQLite 결과와 비교하며 테스트 통과율과 API 비용을 측정한다.
- 최대 추론 노력에서 GPT-6 Astra의 20개 언어 평균은 87.4%, GPT-5.6 Sol은 26.8%다. COBOL은 Astra도 72.1%로 가장 어려운 언어로 제시됐다.
비용과 COBOL 변환
- GPT-6 Luna는 최대 추론 노력에서 평균 40.3%를 기록했다. 샘플당 추정 API 비용 0.77달러는 GPT-5.6 Sol 3.48달러보다 약 78% 낮다는 자체 계산이다.
- COBOL을 C++·Java·Kotlin·Python·Rust로 옮기는 과제는 숨은 테스트에서 관찰 가능한 출력의 바이트 일치를 요구한다. 저추론 GPT-6.1 Sol은 86.6%, 비교 모델은 5.4%로 보고됐다.
해석과 재현
- 고추론 GPT-6.1 Sol은 COBOL 변환에서 97.9%로 제시됐다. 이는 해당 평가의 포화에 가까울 뿐 다른 코드의 이전 성공을 보증하지 않는다.
- OpenAI는 MultiLangBench 설정과 언어별 결과를 공개한다고 밝혔다. 운영 시스템에는 업무 규칙·의존성에 맞춘 전문가 검토와 테스트가 필요하다.
함께 확인할 조건
- 모든 수치는 OpenAI 자체 평가이며 실무 저장소의 성공률은 아니다.
- Astra와 기존 모델의 MultiLangBench 비교는 최대 추론 노력 조건이며 Luna의 비용 78% 감소는 추정 API 비용이다.
- COBOL 변환은 숨은 테스트 전체 통과 조건이지만 생산 시스템의 업무 규칙·의존성을 포괄하지 않는다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
OpenAI · 기술 블로그 · 검수 2026.10.20 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.