국산 NPU 서버 한 대로 5000억 매개변수 AI 돌렸다…리벨리온, SKT 'A.X K1' 구동 성공

지금까지 초거대 인공지능(AI) 모델을 돌리는 일은 사실상 엔비디아 그래픽처리장치(GPU)의 몫이었다. 국내 기업이 만든 AI 반도체가 그 자리를 대신할 수 있느냐는 오래된 물음에, 리벨리온이 하나의 답을 내놨다. 국산 신경망처리장치(NPU) 서버 단 한 대로 매개변수 5190억 개짜리 국산 초거대 모델을 돌려 보인 것이다.

리벨리온은 SK텔레콤의 독자 AI 파운데이션 모델 'A.X K1'을 자사 NPU 서버에서 구동하는 데 성공했다고 23일 밝혔다. 국산 초거대 모델을 국산 AI 반도체로 실제 서비스 수준까지 돌려 본 첫 사례라는 것이 회사 설명이다. NPU는 AI 연산에 특화하도록 설계된 반도체로, 범용 GPU와 달리 딥러닝 계산만 집중적으로 처리해 전력과 비용 효율을 높인 칩을 말한다.

매개변수 5190억, 그러나 실제 쓰는 건 330억

이번에 구동한 A.X K1은 매개변수가 5190억 개에 이르는 초거대 모델이다. 매개변수는 AI가 학습으로 조정하는 내부 수치로, 사람 뇌의 신경 연결에 비유되며 그 수가 많을수록 모델이 더 복잡한 패턴을 다룰 수 있다. 5190억 개는 국내에서 개발된 언어모델 가운데 최상위권 규모에 속한다.

다만 이 모델은 질문에 답할 때 5190억 개를 모두 쓰지는 않는다. A.X K1은 이른바 전문가 혼합(MoE) 구조를 채택해, 들어온 질문에 맞는 일부 전문가 신경망만 골라 켜는 방식으로 작동한다. 실제 추론 과정에서 활성화되는 매개변수는 330억 개 수준이다. 전체 규모는 키우면서도 실행에 드는 연산은 줄여, 큰 모델을 현실적인 비용으로 돌릴 수 있게 한 설계다. 이 구조 덕분에 리벨리온은 여러 대의 고가 장비를 늘어놓는 대신 서버 한 대로 승부를 볼 수 있었다.

"단일 서버가 고성능 GPU 서버급"

리벨리온은 NPU 단일 서버만으로도 고성능 GPU 서버에 준하는 인프라 역량을 확인했다고 밝혔다. 여기에는 반도체 자체 성능뿐 아니라 여러 칩에 연산을 나눠 처리하는 분산 기술과, 모델을 NPU에 맞게 다듬은 최적화 소프트웨어가 함께 작용했다. 하드웨어와 이를 구동하는 소프트웨어를 함께 갖춰야 실사용이 가능하다는 점에서, 이번 실증은 칩 하나의 성능을 넘어 인프라 전체를 검증한 성격이 강하다.

박성현 리벨리온 대표는 "이번 실증으로 국산 초거대 모델과 국산 NPU의 인프라 효율성과 실사용 가능성을 입증한 만큼, 누구나 일상에서 AI를 누릴 수 있는 한국형 AI 인프라를 만들기 위해 노력하겠다"고 말했다.

정부 '독파모' 사업이 판 깔았다

이번 성과는 정부 사업이라는 판 위에서 나왔다. 리벨리온은 과학기술정보통신부의 독자 파운데이션 모델(독파모) 사업에 SK텔레콤 컨소시엄으로 참여하고 있다. 독파모 사업은 해외 빅테크에 의존하지 않는 국산 대형 AI 모델을 키우려는 국가 프로젝트로, 모델뿐 아니라 이를 돌릴 반도체·인프라까지 국산으로 채우는 것을 목표로 한다. 모델을 만든 SK텔레콤과 반도체를 만든 리벨리온이 같은 컨소시엄에 묶여 있었기에, 모델과 칩을 맞춰 최적화하는 이번 실증이 가능했던 셈이다.

두 회사가 손잡은 AI는 이미 일부 서비스에서 돌아가고 있다. SK텔레콤은 통화 내용을 요약해 주는 '에이닷 전화 통화요약' 등에 자사 AI를 적용해 운영 중이다. 양사는 정부가 추진하는 '3대 메가프로젝트'와 '모두의 AI' 사업에서도 협력을 이어가며, 대규모 트래픽이 몰리는 실생활 서비스로 적용 범위를 넓힐 계획이다.

물론 시험 환경에서의 구동 성공이 곧바로 대규모 상용 서비스의 안정적 운영을 뜻하지는 않는다. 수많은 이용자가 동시에 몰리는 실제 서비스에서 응답 속도와 비용을 GPU 대비 어느 수준까지 맞출 수 있느냐가 국산 AI 반도체의 다음 관문이 될 전망이다. 그럼에도 국산 모델과 국산 칩을 한데 묶어 돌려 보였다는 점에서, 이번 실증은 엔비디아 일색이던 AI 인프라 시장에 국산 대안의 존재를 각인시킨 장면으로 남게 됐다.

자료: 리벨리온