AI 연구연구 프리프린트
AI 보안 강화 코드, 실제 검사 통과로 평가하는 HardEval 공개
원문 읽기 · arxiv.org ↗(새 탭에서 열림)AI가 작성한 Linux 보안 강화 스크립트를 실제 가상머신에서 실행하고 규정 검사가 실패에서 통과로 바뀌는지 평가하는 HardEval 벤치마크가 공개됐다.
배경과 설계
- 기존 코드 평가만으로는 운영체제 설정이 지속적으로 바뀌고 준수 검사에 걸리는지 알기 어렵다. 연구진은 RHEL 8 계열 STIG의 실패 규칙에서 구현 방법을 숨긴 과제를 만들고 Bash 스크립트를 가상머신에 적용했다.
평가 결과
- 고정 137개 server-safe 규칙의 단일 실행에서 Claude Opus 4.7은 111개(81.0%), DeepSeek-Coder-33B는 49개(35.8%)를 통과했다. 그럴듯한 코드라도 스캐너가 요구하는 정확한 경로·지시어·설정값과 달라 실패한 사례가 있었다.
적용 조건
- 점수는 해당 OpenSCAP/OVAL 규칙이 실패에서 통과로 바뀐 비율이다. 일반적인 보안성이나 부작용 부재를 보증하지 않으며, 비심사 프리프린트의 제한된 실험이다.
함께 확인할 조건
- 정해진 검사 규칙의 준수 여부를 측정한 결과다. 검사 범위 밖의 보안성이나 운영 부작용은 평가하지 않았고, 스크립트는 일괄 적용되어 개별 규칙의 공로를 항상 분리할 수 없다. 비심사 프리프린트다.
이 글의 용어
기사에서 다루는 개념을 검수된 용어집에서 살펴보세요.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.