GPU·CPU 함께 쓰는 AI 추론…짐렛랩스, 삼성벤처스 참여 속 3억달러 유치
하나의 고성능 GPU에 모든 인공지능 작업을 맡기는 대신, 처리 단계마다 알맞은 반도체를 골라 쓰려는 기술이 대규모 투자를 끌어냈다. 짐렛랩스는 2026년 9월 4일 시리즈B 투자에서 3억달러, 약 4038억원을 조달하고 기업가치 30억달러를 인정받았다고 밝혔다.
이번 투자는 앤드리슨호로위츠가 주도했다. 삼성벤처스와 Arm, 마이크로소프트의 벤처투자 조직 M12를 비롯해 Sapphire Ventures, Menlo Ventures, 645 Ventures, Eclipse, Emergence, Factory, Hudson River Trading, Prosperity7, QuantumLight, Tiger Global, Triatomic, Wing Ventures, XTX Markets 등이 참여했다. 기존 시드와 시리즈A 투자액 9200만달러를 더한 누적 조달액은 3억9200만달러다.
짐렛랩스의 핵심은 ‘멀티 실리콘 추론’이다. AI 추론은 학습을 마친 모델이 이용자의 질문을 받아 실제 답을 만들어 내는 과정이다. 짐렛랩스는 이 과정을 여러 단계로 나눈 뒤 GPU와 CPU, 전용 가속기 가운데 각 단계에 적합한 장치로 작업을 배분한다. 새로운 칩을 직접 만드는 방식이 아니라 이미 존재하는 서로 다른 반도체를 소프트웨어로 연결하는 접근이다.
대규모 언어모델의 추론은 크게 프리필과 디코드로 나눌 수 있다. 프리필은 이용자가 입력한 문장을 한꺼번에 읽고 분석하는 단계여서 연산 능력이 중요하다. 디코드는 답변에 들어갈 토큰, 즉 단어나 글자의 작은 조각을 하나씩 생성하는 단계로 메모리에서 데이터를 얼마나 빠르게 옮기는지를 뜻하는 대역폭의 영향을 많이 받는다. AI 에이전트는 모델을 반복 호출하고 외부 도구까지 사용하므로 작업 구성이 더 복잡해진다.
짐렛랩스가 2025년 제품을 공개하며 설명한 기술 스택은 오케스트레이터, 하드웨어 독립 컴파일러, 자동 커널 생성기 등 세 축으로 구성된다. 오케스트레이터는 여러 장치에 작업을 나눠 주는 지휘자에 가깝다. 컴파일러는 프로그램을 각 반도체가 실행할 수 있는 형태로 바꾸며, 커널 생성기는 칩에서 실제 계산을 수행할 코드를 자동으로 만든다. 당시 회사는 NVIDIA와 Intel, AMD 하드웨어를 지원한다고 밝혔다.
프리필과 디코드를 분리하는 발상 자체는 앞선 연구에서도 검증됐다. 베이징대학교·캘리포니아대학교 샌디에이고·StepFun 연구진이 발표한 DistServe 연구는 두 단계를 서로 다른 GPU에 배치했다. 연구진은 코드 완성에서 기존 시스템보다 최대 5.7배 높은 요청 처리율을, 요약 작업에서는 4.3배 높은 요청 처리율 또는 12.6배 더 엄격한 지연시간 목표를 달성했다고 보고했다. 짐렛랩스의 접근은 이런 분리를 GPU끼리의 조합에서 서로 다른 종류의 반도체로 넓힌 것으로 볼 수 있다.
AI 추론 성능을 재는 기준도 복잡한 실제 사용 환경을 반영하는 방향으로 바뀌고 있다. MLCommons는 MLPerf Inference v6.0에 1170억개 매개변수를 가진 GPT-OSS-120B와 저지연 DeepSeek-R1 시나리오를 추가했다. 작은 초안 모델이 답의 후보를 먼저 만들고 큰 모델이 이를 확인해 생성 속도를 높이는 ‘추측 디코딩’도 MLPerf 최초의 표준 평가 항목으로 마련했다.
반도체 활용률은 데이터센터 전력 문제와도 맞닿아 있다. 국제에너지기구는 세계 데이터센터의 전력 소비가 2025년 485TWh에서 2030년 950TWh로 약 두 배가 되고, AI 특화 데이터센터의 소비는 같은 기간 세 배로 늘어날 것으로 전망했다. AI 서버의 전력밀도는 2020년부터 2025년까지 11배 높아졌으며 2027년까지 다시 네 배가 될 수 있다고 분석했다. 전력밀도는 같은 공간에 설치된 장비가 소비하는 전력의 크기를 뜻한다.
짐렛랩스는 2026년 3월 시리즈A 발표에서 제품 출시 5개월 만에 고객 수가 세 배로 늘었고, 고객군에 프런티어 AI 연구소와 하이퍼스케일러가 포함됐다고 밝혔다. 이번 투자는 AI 모델 자체뿐 아니라 어떤 칩에 어느 작업을 맡길지 결정하는 컴파일러와 운영 소프트웨어, 전력과 냉각을 함께 고려하는 데이터센터 설계가 AI 경쟁의 중요한 영역으로 부상했음을 보여준다.
자료: 짐렛랩스, 국제에너지기구, MLCommons, USENIX Association, 베이징대학교, 캘리포니아대학교 샌디에이고, StepFun