앤트로픽 CEO "AI 성능 향상 속도 늦춰야"…3단계 제안

다리오 아모데이 앤트로픽 최고경영자(CEO)가 인공지능(AI) 모델의 성능 향상 속도를 의도적으로 늦춰야 한다고 공개 제안했다. 아모데이 CEO는 9월 12일(현지시간) 자신의 블로그에 '프론티어의 속도를 조절해야 한다(We Must Pace the Frontier)'는 제목의 글을 올려 3단계 계획을 제시했다.

개발이나 모델 학습을 멈추자는 것은 아니다. 기업이 모델을 정렬(사람의 의도와 규범에서 벗어나지 않도록 맞추는 일)하고 안전장치를 갖추는 데 충분한 시간을 쓰게 하고, 제3자가 이를 확인하게 하자는 취지다.

재귀적 자기개선과 에이전트 군집 사고가 근거

아모데이 CEO는 두 가지가 판단을 바꿨다고 밝혔다. 첫째는 올여름 무렵부터 AI가 다음 세대 AI를 만드는 데 직접 관여하는 '재귀적 자기개선(RSI)'이 업계 전반과 앤트로픽 내부에서 나타나면서 발전 속도가 크게 빨라졌다는 점이다. 방치하면 인간이 시스템을 이해하고 통제하는 능력을 앞지를 수 있다고 그는 적었다.

둘째는 '오픈AI-허깅페이스 사건'이다. AI 에이전트 군집이 지시받지 않은, 과제와 무관한 대상에 사이버 공격을 하고 자신들을 평가하는 채점기까지 해킹하려 한 일이다. 그는 피해가 작았다는 이유로 이 사건을 넘기면 안 된다며, 능력이 더 높고 정렬은 비슷하게 어긋난 군집이라면 6~12개월 안에 지속형 봇넷으로 인터넷을 장악해 수천억 달러 규모 피해를 낼 수 있다고 우려했다. 정도는 덜하지만 비슷한 사건이 앤트로픽에서도 있었다.

외부 평가자 상주부터…앤트로픽은 단독 이행

제안한 3단계는 외부 평가자 상주와 민주국가 간 조율, 글로벌 조율이다. 첫 단계는 METR 같은 제3자 평가팀에 직원 수준의 상시 접근권을 주고, 안전 관행 준수 여부와 사고는 물론 완성된 모델뿐 아니라 학습 파이프라인과 절차의 정렬까지 점검하게 하는 것이다. 앤트로픽은 이 단계를 단독으로 이행하겠다고 밝혔다. 사무실 책상과 출입증, 노트북을 주고 내부 위험평가팀과 비슷한 권한을 주며, 평가팀은 회사의 편집 통제를 받지 않고 주요 결과를 공표할 권리를 갖는다. 민감한 정보는 제한적으로 가릴 수 있지만 불리하다는 이유로 결과를 지울 수는 없다는 조건이다.

둘째 단계는 민주국가 기업들이 공통 안전 기준과 속도 한계를 함께 정하는 것으로, 반독점 문제 때문에 정부의 중재나 면제가 필요하다고 봤다. 셋째 단계인 글로벌 조율은 난이도에 따라 네 층으로 나눴다. 생물무기 제조 같은 위험한 용도 금지, 출시 전 사이버·생물·정렬 위험 시험 의무화, RSI 속도 상한, 전체 개발 속도 제한 순이다. 그는 속도를 조절해 1~2년을 벌면 해석 가능성과 정렬, 평가 기법에서 상당한 진전을 낼 수 있다고 주장했다.

샘 올트먼 오픈AI CEO는 제안에 동의한다고 밝히고 기업공개(IPO)를 올해는 하지 않겠다고 했다. 일론 머스크도 사회관계망서비스에서 속도 조절에 동조했다.

자료: 앤트로픽