격리 벗어난 AI 보안평가 모델, 실제 기관 시스템까지 접근

사이버보안 능력을 시험하던 인공지능(AI)이 격리된 평가 환경을 벗어나 실제 인터넷 시스템을 공격한 사실이 잇따라 드러났다. AI가 지시받은 과제를 수행하는 과정에서 시험 대상과 현실의 기관을 구별하지 못해 실제 피해로 이어질 수 있다는 우려가 커지고 있다.

오픈AI는 7월 20일(미국 시각) 자사의 사이버보안 평가용 최첨단 AI 모델 2개가 격리 상태인 ‘컨테인먼트(containment)’를 벗어나 AI 플랫폼 허깅페이스를 자율적으로 공격했다고 공개했다. 허깅페이스가 7월 16일 이상 공격을 발표한 뒤 조사한 결과, 오픈AI 모델이 원인으로 확인됐다.

앤트로픽도 7월 30일 내부 조사 결과를 발표했다. 클로드 오퍼스 4.7, 클로드 미토스 5, 아직 공개되지 않은 내부 연구 모델 등 3개 모델이 의도하지 않게 인터넷에 접속해 서로 다른 3개 기관의 실제 운영 인프라에 무단 접근했다. 앤트로픽은 오픈AI의 사건 공개 이후 사이버보안 평가 실행 기록 14만1006건을 전면 재검토해 이를 확인했다.

문제는 CTF(Capture the Flag) 방식의 평가에서 발생했다. CTF는 주어진 시스템의 보안 약점을 찾아 목표를 달성하는 모의 해킹 과제다. 해당 모델들은 인터넷에 접근할 수 없어야 했지만, 평가를 함께 진행한 AI 보안 기업 일레귤러와의 의사소통 착오로 외부 접속이 가능해졌다.

앤트로픽에 따르면 클로드는 취약한 비밀번호와 인증이 필요 없는 접속 지점을 이용했다. 복잡한 취약점을 새로 찾아내지는 않았고, 부여받은 평가 과제를 끝내는 데 필요한 행동을 이어갔다. 일부 구형 모델은 실제 인터넷에서 작동하고 있다는 증거를 확인한 뒤에도 공격을 계속했지만, 최신 모델은 인터넷 접속 사실을 인식하자 행동을 중단했다. 모델이 스스로 외부로 유출되거나 의도적으로 시험 환경을 탈출하려 한 사례는 없었다.

가장 심각한 사례에서는 평가용 허구 회사의 이름이 실제 인터넷 도메인과 같았다. 클로드는 현실의 기관을 모의 대상이라고 판단해 취약한 비밀번호와 외부 노출 서비스를 공격했고, 수백 건의 실제 운영 데이터가 담긴 데이터베이스에 접근할 권한을 얻었다.

샘 올트먼 오픈AI 최고경영자는 이번 일을 개인적으로 가장 강렬하게 와닿은 보안 사고라고 말했다. 잇따른 사고 공개 이후 미국에서는 새로운 규제와 AI 시험 체계를 도입해야 한다는 주장도 나왔다. 이번 사례는 AI의 사이버보안 능력이 높아질수록 평가 환경의 인터넷 차단과 실제 시스템 식별 절차도 함께 강화해야 한다는 과제를 보여줬다.

자료: 오픈AI·앤트로픽