숭실대 보안 AI ‘무네메’, 실제 취약점 재현 평가서 91% 성공
인공지능이 실제 오픈소스 소프트웨어의 취약점을 찾아내고, 공격이 가능한지 확인하는 재현 코드까지 직접 만드는 평가에서 91%의 성공률을 기록했다. 숭실대학교 AI안전성연구센터가 개발한 사이버보안 특화 멀티에이전트 시스템 ‘무네메(mneme)’가 실전형 평가체계인 CyberGym 공개 리더보드의 10위권에 진입했다.
CyberGym Level 1은 취약점에 관한 설명과 문제가 수정되기 전의 소스코드만 AI에 제공한다. AI가 만든 PoC, 즉 취약점이 실제로 작동한다는 것을 보여주는 재현 코드는 패치 전 프로그램에서는 오류를 일으키고 패치 후 프로그램에서는 오류를 일으키지 않아야 성공으로 인정된다. 단순히 답을 고르는 시험이 아니라 코드를 읽고 취약점 발생 경로를 추론한 뒤, 도구를 사용해 결과를 실행·검증하는 평가다.
평가에는 OSS-Fuzz에서 수집한 188개 오픈소스 프로젝트의 실제 취약점 1,507개가 쓰였다. 이 가운데 입력 길이가 100바이트를 넘는 복잡한 PoC가 65.7%를 차지했다. CyberGym 연구팀에 따르면 이런 복잡한 사례에서 기존 에이전트의 성공률은 약 10%에 그쳤다. 짧은 오류 입력을 찾는 수준을 넘어, 여러 조건이 얽힌 취약점을 재현하는 능력이 평가 결과를 좌우한다는 의미다.
숭실대 공식 평가보고서에서 무네메의 정제 점수는 1,507건 가운데 1,372건 성공으로 91.0%였다. 서버가 처음 판정한 원점수는 1,403건, 93.1%였다. 연구팀은 컨테이너 안에 기존 재현 코드가 남아 있던 30건과 수정·패치 정보가 노출된 5건을 자체 감사에서 제외했다고 보고했다. 결과를 그대로 제시하는 데 그치지 않고, AI가 정상적인 분석 대신 노출된 단서를 이용했을 가능성이 있는 사례를 따로 점검한 것이다.
무네메의 기반 모델은 클로드 오퍼스 4.6 하나다. 기본 실행 성능은 66.6%였지만 연구팀은 보안 전문지식, 여러 에이전트의 협업, 분석 도구, 구조화된 인과 기억과 반복 검증 절차를 결합해 정제 성공률을 91.0%로 높였다고 밝혔다. 이처럼 기반 AI가 전문 작업을 수행하도록 기억·도구·역할·검증 순서를 설계한 구조를 ‘에이전트 하네스’라고 한다. 자동차 엔진만 키우는 대신 변속기와 제어장치를 함께 다듬는 것에 가깝다.
지식베이스는 100개가 넘는 C·C++ 오픈소스 프로젝트를 미리 분석해 만든 3,867개 항목으로 구성됐다. 인과 정책 1,720개, 파일형식 규칙 1,259개, 하네스 규칙 670개, 도달경로 지도 201개 등이 포함됐다. 평가 중에는 내용을 추가하거나 고칠 수 없는 읽기 전용으로 운영됐다. 인터넷 접속도 허용되지 않았으며, 29개 작업 에이전트가 시도한 검색은 서버에서 차단됐다. 실제 분석에는 프로그램의 실행 경로를 살피는 angr, 오류 지점을 추적하는 gdb, 재현 코드 제작을 돕는 pwntools 등이 사용됐다.
이름 ‘무네메’는 그리스어로 기억을 뜻한다. 이전 취약점 분석에서 얻은 지식을 원인과 결과가 연결된 형태로 축적하고, 여러 AI 에이전트가 이를 공유해 새로운 취약점의 원인을 추론하는 설계를 반영했다. 연구팀은 류석준·노승덕·서채원·양홍장·김동현·최대선 연구자로 구성됐으며 평가보고서는 2026년 7월 공개됐다.
2026년 9월 1일 공개 데이터에서 무네메는 91.04%, Microsoft의 MDASH는 90.97%를 기록했다. 다만 CyberGym 운영진은 90%를 넘은 시스템의 표시 순서를 무작위로 배열하고 있으며, 실행의 확률성과 평가전략 차이 때문에 작은 점수 차이를 능력 격차로 해석해서는 안 된다고 안내했다. MDASH는 100개가 넘는 전문 에이전트와 복수 모델을 조율하는 시스템이다. Microsoft Security는 이를 통해 Windows 계열 취약점 16건을 찾았고, 그중 4건은 치명적인 원격코드실행 취약점이었다고 발표했다. 무네메의 결과는 단일 기반 모델도 전문지식과 분석 절차를 정교하게 결합하면 실제 보안 과제를 폭넓게 처리할 가능성을 보여준다.
자료: 숭실대학교 AI안전성연구센터, UC 버클리 RDI·CyberGym 연구팀, Microsoft Security