앤트로픽·액센추어, AI 안전성 평가에 5년간 각 10억 달러 투자

인공지능(AI) 모델을 세상에 내놓기 전, 외부 전문가가 개발 현장에 상주하며 처음부터 끝까지 안전성을 지켜보는 체계가 등장했다. 글로벌 AI 기업 앤트로픽(Anthropic)이 컨설팅·기술 서비스 기업 액센추어(Accenture)와 손잡고 최첨단 AI 모델의 안전성을 독립적으로 평가하는 '내부 상주형 평가(Embedded Evaluation)' 체계를 구축한다고 밝혔다.

내부 상주형 평가란 외부 평가자가 마치 회사 직원처럼 개발 현장에 들어가 모델이 만들어지고 세상에 풀리기까지의 전 과정을 직접 지켜보고 점검하는 방식이다. 지금까지 AI 안전성 검증은 대체로 모델이 완성된 뒤 결과물만 살펴보는 '사후 점검'에 머물러 있었다. 문제가 이미 만들어진 뒤에야 발견되는 구조였던 셈이다. 이번 협력은 이런 사후 점검의 한계를 넘어, 개발이 한창 진행되는 동안에도 계속해서 안전을 확인하는 '상시 검증'으로 범위를 넓힌다는 구상이다. 앤트로픽은 18일(현지시간) 액센추어와 이 같은 내용의 파트너십을 체결했다고 밝혔다.

양사는 앞으로 5년간 각각 최소 10억 달러를 이 안전 평가 역량을 구축하는 데 투자하기로 했다. 두 회사가 각자 이만한 규모의 자금을 안전성 검증이라는 한 분야에 장기간 쏟는다는 것은, 그만큼 AI 개발 속도가 빨라지는 상황에서 안전 점검 체계를 갖추는 일을 더는 미룰 수 없는 과제로 보고 있다는 뜻으로 읽힌다. 내부 상주형 평가자는 직원 수준의 접근 권한을 갖고 모델이 훈련되는 과정을 직접 관찰하며, 모델을 언제 구축하고 배포할지 결정하는 과정을 추적하고, 앤트로픽 직원들과 직접 소통하며 문제를 짚어낸다. 겉으로 드러난 결과물이 아니라 만들어지는 과정 자체를 들여다볼 수 있다는 점에서 기존 방식과 차이가 크다.

액센추어 쪽 평가 업무는 올해 초 인수한 AI 테스트 전문기업 페컬티(Faculty)가 주도한다. 페컬티는 영국 국민보건서비스(NHS)의 코로나19 조기경보 시스템 개발을 비롯해 정부·국방·의료·인프라 분야에서 안전한 AI 시스템을 구축해 온 경험을 보유하고 있다고 밝혔다. 사람의 생명과 공공 안전이 걸린 영역에서 쌓은 노하우를 최첨단 AI 모델 평가에도 적용하겠다는 취지로 풀이된다.

액센추어 최고경영자(CEO) 줄리 스위트는 "안전성은 깊은 기술 전문성과 실제 AI 활용에 대한 이해를 모두 필요로 한다"고 말했다. 페컬티 CEO 마크 워너는 "AI는 사고로 안전해지는 것이 아니라 설계로 안전해야 한다는 신념으로 회사를 설립했다"고 밝혔다. 안전을 나중에 덧붙이는 장치가 아니라 처음부터 설계에 포함해야 할 요소로 본다는 의미다.

앤트로픽은 이번 파트너십을 자사 CEO 다리오 아모데이가 최근 에세이에서 제시한 '프론티어(최첨단) 속도에 맞춘 안전 평가' 구상을 처음 실행에 옮긴 단계라고 설명했다. 다만 독립 평가가 회사의 안전 책임을 대신하는 것은 아니며, 모델 안전성에 대한 최종 책임은 여전히 앤트로픽 자신에게 있다고 강조했다. 외부 평가자를 들이는 것이 책임 회피의 수단이 아니라 자체 점검을 보강하는 장치라는 점을 분명히 한 셈이다.

이번 협력은 비배타적으로 진행되며, 앤트로픽은 비영리 AI 평가기관 METR과도 별도로 협력하고 있다고 설명했다. METR은 자체 자금으로 내부 상주형 평가 요소를 시범 운영하고 있으며, 앤트로픽은 앞으로 추가 평가 파트너를 발표할 계획이라고 덧붙였다. 한 곳에만 의존하지 않고 여러 평가 주체를 두겠다는 뜻으로, 특정 기업의 시각에 평가가 치우치는 것을 막으려는 시도로 볼 수 있다.

다만 내부 상주형 평가자가 어떤 정보에 접근해야 하는지, 평가 결과를 어떤 방식으로 보고해야 하는지에 대한 업계 표준은 아직 마련되지 않은 상태다. 이번 파트너십이 하나의 선례가 되어 향후 다른 AI 기업들의 평가 체계에도 영향을 줄 수 있을지 주목된다. AI 모델이 사람의 일상과 산업 전반에 빠르게 스며드는 가운데, 안전성 검증 체계를 어떻게 갖출 것인지는 앞으로도 업계의 중요한 과제로 남아 있다.

자료: 앤트로픽, 액센추어