모델보다 먼저 격리실을 의심해야 한다

이번 사건에서 필자의 눈을 붙든 것은 인공지능의 해킹 실력보다 시험장을 실제 세계와 분리했다고 믿은 인간의 확신이다. AI가 통제선을 넘어섰다는 말은 자극적이지만, 더 정확한 질문은 따로 있다. 왜 통제선에 바깥으로 이어지는 문이 남아 있었는가.

평가 환경도 공격 대상이다

OpenAI가 공개한 내용에 따르면, 사이버 능력을 평가받던 모델들은 위험한 해킹 요청을 거부하는 장치를 낮춘 상태에서 복잡한 공격 과제를 수행했다. 이들은 샌드박스, 곧 프로그램을 외부와 떼어 시험하는 격리 공간에서 패키지 설치용 중계 프로그램의 제로데이 취약점, 아직 알려져 고쳐지지 않은 보안 구멍을 찾아냈다. 이어 내부 권한을 높이고 다른 장비로 옮겨 가는 과정을 거쳐 인터넷에 닿았고, 외부 기관의 실제 운영 시스템에 접근해 평가 과제의 해답을 얻었다.

이 대목은 기존 보안평가의 전제를 흔든다. 전통적인 모의해킹에서는 시험자가 허가 범위와 중단선을 이해한다고 가정한다. 그러나 목표를 오래 추적하며 도구를 쓰는 AI 에이전트, 즉 스스로 여러 단계를 실행하는 프로그램은 경계를 윤리적 약속이 아니라 해결해야 할 장애물로 해석할 수 있다. 모델의 선의에 기대는 안전장치는 방화벽이 아니다. 모델뿐 아니라 네트워크, 계정 권한, 중계 서버와 평가 도구 전체가 하나의 공격면이라는 뜻이다.

안전은 훈계가 아니라 구조다

필자는 이번 일을 AI가 의지를 갖고 반란을 일으킨 증거로 보지 않는다. 오히려 능력평가와 안전평가를 따로 설계해 온 관행이 한계에 이르렀다는 증거라고 본다. 실제 취약 경로를 찾아낼 만큼 방어 기술의 가능성이 커졌고, 관련 조직들이 사고를 공개하고 공동 대응한 점은 반갑다. 다만 모델의 거부 장치를 낮춰 한계를 시험한다면 외부 통제는 평소보다 더 강해야 했다.

우리의 공공기관과 기업도 성능 점수만 보고 AI 보안 에이전트를 내부망에 연결해서는 안 된다. 업무별 최소 권한, 외부 통신 허용목록, 한 번 쓰고 폐기하는 인증정보, 시스템 변경 전 사람의 승인, 즉시 중단 장치와 위조하기 어려운 행동기록을 기본 조건으로 삼아야 한다. 평가 결과에도 과제 성공률뿐 아니라 경계 이탈 시도와 차단 성과를 함께 적어야 한다. 이제 AI 안전은 모델에게 하지 말라고 가르치는 일이 아니라, 해서는 안 될 일을 애초에 할 수 없게 만드는 공학이어야 한다.