AI가 AI 칩 설계 돕는다…핫칩스 2026이 보여준 반도체 개발의 변화
AI를 구동할 반도체를 만드는 과정에 다시 AI가 투입되는 순환 구조가 실제 칩 개발로 이어지고 있다. 사람이 정한 목표와 조건 아래 AI가 수많은 설계 후보를 탐색하고 검증을 반복하면서, 오랜 시간과 대규모 전문 인력이 필요했던 반도체 설계 방식에 변화가 시작됐다.
지난 8월 23일부터 25일까지 미국 캘리포니아주 팔로알토 스탠포드대학교에서 열린 핫칩스 2026은 이런 흐름을 보여준 자리였다. Hot Chips 공식 프로그램에는 25일 구글의 ‘The Eighth Generation TPU Family’와 오픈AI의 ‘You Can Just Build … Chips’ 발표가 등록됐다. AI용 반도체를 개발하는 기업들이 칩 성능뿐 아니라 설계 과정에 AI를 적용한 방법까지 공개한 것이다.
반도체 설계는 회로를 구성하는 작은 블록을 배치하고, 블록 사이에서 데이터가 이동할 경로를 정한 뒤, 원하는 속도와 전력 조건을 만족하는지 반복해서 확인하는 작업이다. 구성 요소가 복잡하게 연결돼 있어 한 부분을 바꾸면 다른 부분의 성능과 전력에도 영향을 줄 수 있다. AI는 이 가운데 구현 방법 탐색, 검증 반복, 산술회로 최적화처럼 후보를 많이 만들고 비교해야 하는 작업에 활용되고 있다.
오픈AI가 공개한 추론 전용 칩 할라피뇨는 설계 시작부터 제조용 설계 데이터를 넘기는 테이프아웃까지 9개월이 걸렸다. 오픈AI는 Codex와 GPT-Astra를 이용해 당초 계획에 없던 공개 AI 모델 3종을 두 달 안에 칩에 맞게 최적화했다고 밝혔다. 여기서 추론은 학습을 마친 AI가 이용자의 입력을 받아 답을 계산하는 과정을 뜻한다.
오픈AI 자체 측정에서 할라피뇨는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 구동했을 때 비교 시스템보다 최대 처리량 기준 전력당 작업량이 1.5~1.9배 높았다. 입력을 받은 뒤 답변 처리가 끝날 때까지의 종단간 지연시간도 1.7~3.6배 개선됐다고 설명했다.
다만 수치는 측정 조건과 함께 봐야 한다. GPT-OSS 비교 대상은 엔비디아 GB200이었고 나머지 두 모델은 GB300이었다. 전력 효율 계산에는 할라피뇨 700W, GB200 1200W, GB300 1400W의 공시 패키지 전력이 적용됐다. 모두 오픈AI가 공개한 자체 결과이므로 서로 다른 환경의 모든 작업에서 같은 차이가 난다는 의미는 아니다.
AI를 반도체 설계에 활용하는 시도는 이번 행사에서 처음 등장하지 않았다. Google DeepMind의 AlphaChip은 강화학습으로 칩 블록의 위치를 정하는 플로어플랜을 수시간 안에 만들며 2020년 이후 여러 세대의 TPU에 적용됐다. 관련 연구는 Nature에 발표됐다. 강화학습은 여러 선택을 시도한 뒤 좋은 결과에 보상을 주면서 더 나은 방법을 찾게 하는 학습 방식이다.
그러나 AlphaChip의 성과는 전체 칩 설계가 아니라 블록 배치와 플로어플래닝 단계의 자동화다. NVIDIA Research의 ChipNeMo도 반도체 설계 관련 질의응답, 전자설계자동화 스크립트 생성, 버그 요약을 시험했다. 반도체 분야 자료에 맞춰 학습한 결과 최대 5배 작은 모델이 비슷하거나 더 나은 결과를 내기도 했지만, 연구진은 이상적인 성능과 여전히 격차가 있다고 밝혔다.
따라서 현재의 변화를 AI가 사람 없이 칩 전체를 만드는 단계로 해석하기는 어렵다. 확인된 성과는 설계자가 정한 범위 안에서 탐색과 반복 작업을 빠르게 수행하는 데 집중돼 있다. 그럼에도 설계 기간을 줄이고 계획에 없던 모델까지 짧은 기간에 적용한 사례는 AI가 반도체 개발 도구의 역할을 넓히고 있음을 보여준다.
개별 칩 설계가 빨라질수록 여러 칩을 연결하는 네트워킹과 새로운 메모리 구조도 중요해진다. HBF는 DRAM 기반의 HBM을 곧바로 대체하는 제품이라기보다 NAND 플래시의 큰 용량과 비휘발성에 높은 대역폭을 결합해 HBM과 SSD 사이에 두려는 새 메모리 계층이다. 공개 규격을 만드는 단계는 관련 생태계가 형성되고 있다는 뜻이지만, 양산 제품의 실제 성능이 입증됐다는 의미는 아니다.
AI 설계 자동화의 효과는 개발 속도와 인력 구성, 칩의 전력 효율을 거쳐 AI 서비스의 비용과 처리 성능에 영향을 줄 수 있다. 다만 앞으로의 경쟁력은 AI 모델 하나만이 아니라 설계 결과를 검증하는 능력, 칩과 메모리·네트워크를 함께 구성하는 능력에서 갈릴 것으로 보인다.
자료: Hot Chips, OpenAI, Google, Google DeepMind, NVIDIA Research, Nature, SK hynix, Sandisk