[기획] 30배의 진실…AI 반도체의 승부처는 왜 연산이 아니라 메모리인가

요리사가 서른 배 빨라졌다고 해도 식재료가 주방 문 앞에 쌓여 있다면 음식은 서른 배 빨리 나오지 않는다. 오늘날 AI 반도체가 처한 상황도 비슷하다. 엔비디아는 GB200 NVL72가 이전 세대 H100보다 대규모언어모형 추론에서 30배 높은 성능을 내고 비용과 전력을 25배 절감한다고 밝혔다. 그러나 이 30배는 GPU 한 장의 성능이 30배가 됐다는 뜻이 아니다. 자사 기술 블로그에 공개된 계산은 GPU당 성능 향상에 GPU 수 9배를 곱한 랙 단위 합산치다. ‘30배’의 진실을 이해하려면 계산하는 칩보다 데이터를 배달하는 메모리를 먼저 봐야 한다.

칩은 약 3배, 랙은 30배였다

MLCommons가 운영하는 산업 표준 벤치마크 MLPerf의 결과는 비교 기준의 차이를 보여준다. 검증 절차를 거치는 시험이지만 결과 제출자는 엔비디아 자신이라는 점도 함께 봐야 한다. 8개 GPU를 사용한 같은 조건에서 B200은 H200보다 라마2 70B 서버 추론에서 초당 9만8,443토큰을 처리해 3.0배, 오프라인에서는 초당 9만8,858토큰으로 2.8배 빨랐다. 토큰은 AI가 글을 처리하는 단위다. 믹스트랄 8x7B 서버 시험의 차이는 2.1배, 이미지 생성 모델 스테이블디퓨전 XL에서는 1.6배였다.

GB200 NVL72로 라마 3.1 405B를 처리했을 때도 H200 대비 GPU당 성능은 서버 방식 3.4배, 오프라인 방식 2.8배였다. 대규모언어모형을 기준으로 칩 단위 향상은 대체로 2.8~3.4배이고, 30배는 더 많은 GPU를 한 시스템에 묶어 얻은 결과인 셈이다. 어느 한쪽이 거짓이라기보다 한쪽은 칩을, 다른 쪽은 랙을 비교했다. 랙은 여러 GPU와 연결 장치를 한 캐비닛에 집적한 시스템이다.

블랙웰은 트랜지스터 2,080억 개를 담고, 레티클 한계 크기의 다이 두 개를 초당 10테라바이트(TB)의 칩간 연결로 묶었다. FP4(4비트 부동소수점·정밀도를 낮춰 속도를 높이는 연산 방식)와 2세대 트랜스포머 엔진도 지원한다. 그럼에도 연산 장치가 식자재를 기다리는 ‘메모리 장벽’은 사라지지 않았다. 캘리포니아대 버클리 등 연구진이 2024년 정리한 지난 20년 추세를 보면 서버 최대 연산성능은 2년마다 3.0배 커졌지만 D램 대역폭은 1.6배, 인터커넥트 대역폭은 1.4배 증가하는 데 그쳤다. 연구진은 AI 응용, 특히 서비스 단계의 주 병목이 연산보다 메모리라고 결론 내렸다.

블랙웰 울트라는 창고만 키웠다

GB200 NVL72에는 13.4테라바이트(TB)의 HBM3E가 들어가며 메모리 대역폭은 초당 576테라바이트(TB/s)다. 후속 제품 GB300 NVL72, 즉 블랙웰 울트라는 용량을 20테라바이트로 49% 늘렸지만 대역폭은 그대로다. 창고는 커졌는데 물건이 드나드는 문은 넓어지지 않은 셈이다. 문을 넓힌 제품은 HBM4를 탑재한 베라 루빈 NVL72다. 용량은 20.7테라바이트, 대역폭은 초당 1,580테라바이트로 GB200의 2.74배다.

하지만 연산과 데이터 공급의 간격은 여전히 벌어진다. 공식 제원을 편집국이 직접 나눠 보면 GB200 NVL72의 ‘연산량÷메모리 대역폭’은 720페타플롭스(PFLOPS)를 576테라바이트/초로 나눈 약 1,250이다. 베라 루빈은 2,520페타플롭스를 1,580테라바이트/초로 나눈 약 1,595다. 이 값은 바이트당 요구되는 연산량을 나타내며 클수록 메모리가 연산을 따라가기 어렵다는 뜻이다. HBM4로 대역폭을 2.7배 높였는데도 비율은 오히려 나빠졌다. 이는 회사가 발표한 성능 지표가 아니라 공개 제원을 나눈 편집국 계산이다.

HBM(고대역폭메모리)은 여러 장의 D램을 수직으로 쌓아 데이터 통로를 넓힌 메모리다. TSV(실리콘 관통전극)는 각 층에 수천 개의 미세한 구멍을 뚫어 수직 전극으로 위아래 칩을 잇는다. 아파트 층마다 엘리베이터를 연결하는 것과 비슷하다. MR-MUF는 쌓은 칩 사이에 액체 보호재를 넣어 회로를 보호하고 굳히는 공정이다. SK하이닉스의 어드밴스드 MR-MUF는 기존보다 40% 얇은 칩이 휘지 않도록 적층한다.

HBM4의 핵심은 개별 신호의 속도만이 아니라 차선 수다. 삼성전자 공개 자료에서 HBM3E는 1,024개의 I/O(입출력 통로)로 핀당 초당 9.2기가비트(Gbps)를 보내 스택당 초당 1,180기가바이트(GB/s)를 처리한다. HBM4는 I/O를 2,048개로 두 배 늘리고 핀 속도를 13.0기가비트로 높여 초당 3,300기가바이트를 처리한다. 2,048에 13기가비트를 곱하고 8로 나누면 초당 3,328기가바이트로 제조사 공개치와 거의 일치한다. 도로를 1,024차선에서 2,048차선으로 넓힌 효과다. 이 수치는 확인되지 않은 표준 원문이 아니라 각 제조사가 공개한 자료 기준이다.

한국 수출의 41.5%, 그리고 휴대전화 가격

산업통상자원부 발표에 따르면 2026년 7월 한국의 총수출은 988억9,000만 달러로 전년보다 약 63% 늘었다. 반도체 수출은 410억 달러로 179% 증가해 전체 수출의 약 41.5%를 차지했다. 정부가 성장률 전망을 2%에서 3%로 올리며 반도체 수출 호조를 근거로 든 배경이다. HBM은 이제 부품 하나를 넘어 수출과 성장률을 움직이는 변수가 됐다.

기업 실적도 이 집중도를 드러낸다. SK하이닉스는 2026년 2분기 매출 79조3,187억 원과 영업이익 60조5,426억 원을 발표했다. 영업이익률은 76%였지만 시장 기대치는 밑돌았다. 회사는 HBM4 양산 출하를 시작했고 수율과 품질이 HBM3E와 동등하다고 밝혔으나 제3자 검증 결과는 아니다. 삼성전자는 같은 분기 매출 171조5,000억 원, 영업이익 89조5,000억 원을 기록했다. 반도체 부문 영업이익 89조2,000억 원은 전사 영업이익의 99.7%였다.

메모리 경쟁은 다시 로직 다이, 즉 HBM 아래에서 데이터 흐름과 기능을 담당하는 회로층의 경쟁으로 옮겨가고 있다. SK하이닉스는 HBM4부터 TSMC의 첨단 로직 공정을 베이스 다이에 적용한다고 밝혔다. 삼성전자는 HBM4E에 자사 4나노 파운드리 기반 로직 베이스 다이를 사용한다. 고객의 AI 칩 구조와 작업부하, 전력 설계에 맞춰 베이스 다이와 패키징을 조정하는 맞춤형 HBM이 중요해지면서 메모리 회사도 파운드리 역량에 의존하게 됐다.

호황에는 대가도 따른다. 트렌드포스에 따르면 HBM은 일반 D램보다 훨씬 많은 웨이퍼를 사용해 전체 메모리 공급 증가를 제약한다. 카운터포인트리서치는 스마트폰용 메모리 가격이 2분기에 전분기보다 80% 이상 뛰었고 보급형 스마트폰 부품 원가는 전년보다 70% 상승했다고 분석했다. AI 서버용 HBM을 더 만들수록 일상에서 사는 휴대전화의 원가가 오르는 연결고리가 생긴 것이다.

거품보다 먼저 올 수 있는 가격과 전력의 벽

수요가 거품인지에 대한 전망은 여러 번 빗나갔다. 2025년 7월 한 대형 투자은행은 2026년 HBM 가격이 두 자릿수로 하락할 수 있다며 시장 전망을 510억 달러에서 450억 달러로 낮췄다. 실제 2026년 상반기는 정반대로 사상 최대 호황과 품귀가 나타났다. 엔비디아는 최근 4개 분기에 블랙웰 600만 개를 출하했고 블랙웰과 루빈을 합쳐 5,000억 달러 매출을 전망한다고 밝혔다. 다만 이 역시 회사의 전망이다.

공급 부족이 이어진다는 관측도 있다. 트렌드포스는 D램 수급 충족률이 2026년 마이너스 1~2%이고 2027년에는 더 악화할 것으로 봤다. 2027년 하반기 신규 설비도 2028년에야 공급에 기여할 전망이다. 삼성전자는 공장 착공에서 양산까지 3년 6개월이 걸리는 만큼 부족이 2027년 심해져 2028년까지 이어질 것으로 봤다. 문제는 거품 붕괴만이 아니다. 메모리 가격이 계속 높으면 클라우드 사업자의 인프라 예산에서 메모리가 차지하는 몫이 커져 ‘메모리가 너무 비싸 GPU 구매를 줄이는’ 수요 파괴가 생길 수 있다는 것이 트렌드포스의 지적이다.

전력도 새로운 병목으로 떠올랐다. 엔비디아는 성능 홍보 기준을 ‘메가와트당 토큰’, 즉 같은 전력으로 얼마나 많은 텍스트 단위를 처리하는지로 바꾸기 시작했다. 8개 GPU를 넣은 공랭식 DGX B200의 최대 전력은 약 14.3킬로와트다. 한국과 엔비디아의 협력안도 전력 5기가와트(GW), SK텔레콤 AI 팩토리는 2기가와트 규모로 표현된다. 다만 5,000억 달러 이상 규모로 발표된 SK그룹과 엔비디아의 전략적 협력은 아직 의향서 단계이며 구속력 있는 세부 조건은 확정되지 않았다.

AI 반도체의 경쟁은 연산 칩 하나의 속도를 겨루는 데서 끝나지 않는다. 메모리 용량, 데이터 통로, 로직 다이, 패키징, 웨이퍼와 전력까지 한꺼번에 맞물린다. 30배라는 숫자 뒤에서 칩 단위 성능은 약 3배 높아졌고 HBM4의 통로도 넓어졌다. 그러나 연산량을 메모리 대역폭으로 나눈 값은 더 커졌다. 초고속 주방은 계속 확장되고 있지만 식자재가 들어오는 문은 아직 그 속도를 따라잡지 못하고 있다.

독무대는 끝났다…마이크론의 양산, 중국의 실탄

HBM 경쟁의 지도에 한국 두 회사만 있는 것은 아니다. 미국 마이크론은 2025년 6월 HBM4 36GB 12단 샘플을 공급한 데 이어 2026년 3월 베라 루빈용 양산 개시를 발표했다. 본문이 '문을 넓힌 제품'으로 꼽은 그 시스템에 들어갈 메모리를 3사가 나란히 대는 구도다. 마이크론은 자사 HBM3E 대비 대역폭 2.3배, 전력 효율 20% 개선을 내세우고 2027년에는 후속 HBM4E 양산까지 예고했다. 회사 발표 기준의 수치다.

중국 변수도 커졌다. 미국 상무부는 2024년 12월 HBM을 대중국 수출통제 품목에 추가해 첨단 메모리의 중국 공급을 막았고, 중국은 자급으로 응수하고 있다. 중국 D램 업체 창신메모리(CXMT)는 2026년 7월 상하이 증시에 상장하며 투자 재원을 확보했다. 다만 HBM 진입 시점과 수준을 놓고는 관측이 엇갈린다.

칩보다 먼저 바뀐 계획…전력이 다시 셈해지고 있다

본문이 짚은 전력 병목은 이미 정부 계획을 고쳐 쓰게 만들었다. 정부는 2026년 7월 하반기 업무보고에서 AI 데이터센터를 국가전략산업으로 육성하겠다며 SK·GS·네이버 등 총 550조 원 규모의 민간투자를 언급했다. 국가 중장기 전력 계획인 제12차 전력수급기본계획 수립 과정에서는 지난 6월 대규모 국책사업 묶음인 '3대 메가프로젝트' 발표에 맞춰 전력 수요 전망을 새로 산정하고 있다. AI 데이터센터 전기요금 체계 개편이 과제로 올랐고, 소형모듈원자로(SMR) 도입 여부도 이 계획에서 결론 내기로 했다.

메모리를 만드는 쪽도 마찬가지다. 기후에너지환경부는 호남권 신규 반도체 산업단지에 전력을 앞당겨 공급하는 방안을 추진하면서 첨단 반도체 공장의 핵심 경쟁력으로 안정적이고 신속한 인프라 공급을 꼽았다. HBM을 파는 나라이자 AI 인프라를 짓는 나라인 한국은 메모리 대역폭과 송전망 용량이라는 두 병목의 계산서를 동시에 받아든 셈이다.

자료: 엔비디아, SK하이닉스, 삼성전자, 마이크론, MLCommons, 캘리포니아대 버클리, 트렌드포스, 카운터포인트리서치, 산업통상자원부·미국 상무부·과학기술정보통신부·기후에너지환경부·창신메모리