KAIST, AI 숨은 취약점 7배 다양하게 찾는 검증 기술 개발

생성형 인공지능(AI)의 숨은 취약점을 기존보다 약 7배 다양하게 찾아내는 안전성 검증 기술이 개발됐다. AI가 드러내지 않은 약한 지점을 폭넓게 확인해 더욱 안전하고 신뢰할 수 있는 AI를 개발하는 기반이 될 것으로 기대된다.

KAIST는 전기및전자공학부 김준모 교수 연구팀이 대형언어모델(LLM)의 안전성을 검증하는 새로운 프레임워크 ‘스테이블-지플로우넷(Stable-GFlowNet)’을 개발했다고 30일 밝혔다. LLM은 많은 언어 정보를 바탕으로 사람의 질문이나 요청에 맞는 문장을 만들어내는 생성형 AI 모델을 뜻한다.

연구팀이 주목한 것은 생성형 AI의 ‘레드팀(Red Teaming)’이다. 레드팀은 공격자의 관점에서 AI를 시험하며 미처 드러나지 않은 약점이나 안전 문제를 찾는 검증 과정이다. 튼튼한 성을 만들기 전에 약한 곳부터 찾아 보강하는 것과 같은 접근이다.

기존 레드팀 기술에는 AI의 다양한 취약점을 충분히 찾아내는 데 한계가 있었다. 연구팀은 이 한계를 극복하기 위해 스테이블-지플로우넷을 제안했다. 새 프레임워크는 생성형 AI 안에 숨어 있는 취약점을 기존 방식보다 약 7배 더 다양하게 찾아냈다.

이번 성과의 핵심은 단순히 취약점의 존재를 확인하는 데 그치지 않고, 서로 다른 유형의 약점을 폭넓게 발견할 수 있다는 점이다. 연구팀은 스테이블-지플로우넷이 생성형 AI의 안전성을 검증하고, 더욱 신뢰할 수 있는 AI를 개발하는 기반이 될 것으로 기대했다.

자료: KAIST