AI가 양자회로 새 설계 찾았다…토폴리 게이트 최대 17분의 1로

인공지능이 사람이 만든 양자회로를 다듬는 수준을 넘어 새로운 계산 구조를 찾아냈다. 앤트로픽은 클로드 미소스 5를 이용해 양자컴퓨터가 같은 계산을 더 적은 자원으로 수행하도록 설계한 연구 결과를 발표했다.

양자컴퓨터의 정보 처리 단위는 큐비트다. 유용한 문제를 풀려면 충분한 큐비트뿐 아니라 계산을 구성하는 기본 연산도 많이 필요하다. 연구진은 이 가운데 오류 정정 양자컴퓨터의 자원 부담을 가늠하는 주요 연산인 토폴리 게이트 수 T와 계산 도중 필요한 최대 큐비트 수 Q를 측정했다. 두 값을 곱한 ‘TQ 비용’도 후보 회로의 평가 기준으로 삼았다.

연구진은 화학·최적화·물리 시뮬레이션 등에 쓰이는 기초 연산 8가지를 자연어로 설명하고, 클로드가 회로 코드를 작성하게 했다. 별도의 평가 프로그램이 계산의 정확성과 자원 소모를 검사하면 클로드가 결과를 받아 설계를 다시 고쳤다. 사람이 목표와 검증 환경을 마련하고 AI가 설계와 시험을 반복한 방식이다.

대상은 모든 종류의 양자회로가 아니라 고전 함수의 입력과 출력을 양자적으로 일관되게 계산하는 회로군이었다. 이 부류는 각 입력에서 나온 비트열과 위상을 추적할 수 있다. 따라서 큐비트 수가 늘 때마다 2의 거듭제곱으로 불어나는 모든 진폭을 계산하지 않고도 후보 설계를 자동 검증할 수 있었다.

논문은 8개 과제 중 7개에서 기존 최고 설계보다 토폴리 게이트 수와 큐비트 수를 모두 줄였다고 보고했다. 공통 전략은 조건마다 비싼 연산을 따로 두지 않고 값의 위치를 바꿔 하나의 연산 블록을 공유하는 ‘조건부 라우팅’, 현재 레지스터 상태로 과거의 분기를 복원하는 방법, 허용된 작은 실패확률을 활용해 매우 드문 최악 입력용 자원을 줄이는 방법이었다.

최적화 문제에 쓰이는 DQI용 리드–솔로몬 복호기의 핵심 locator 계산에서는 약 190만 개였던 토폴리 게이트가 약 14만 개로 감소했다. 70개 신드롬으로 최대 35개 오류를 찾는 조건에서 모든 이력을 저장하면 최악의 경우 665큐비트가 필요하지만, 새 회로는 19큐비트 저장공간 하나만 배정했다. 연구진은 4억300만 회의 표본 복호를 실행해 두 번째 저장공간이 필요할 확률을 1.0×10^-4로 산정했다.

타원곡선 계산에서도 다른 선택지가 나왔다. 타원곡선은 디지털 서명 같은 암호 기술에 쓰이는 수학적 구조다. 클로드는 초기 설명과 간헐적인 탐색 방향을 받은 뒤 53시간 동안 작업해 새 계산법을 도출했다. 최종 설계 하나는 기존 최소 큐비트 설계보다 큐비트를 12% 더 쓰는 대신 토폴리 게이트 수를 17분의 1로 줄였다.

이 결과는 256비트 입력의 divsteps 회로가 499~533단계에 끝난다는 가정을 사용했다. 연구진은 이 범위를 벗어날 확률을 약 10^-5로 계산했다. 분기 기록용 큐비트도 최악값 263개가 아니라 60개로 제한했으며, 역원 계산 한 번당 스택 초과 확률을 2.4×10^-6으로 추정했다.

연구진이 제시한 수치는 논리 큐비트와 토폴리 게이트의 자원 추정치다. 물리 큐비트 수나 실제 실행시간을 직접 뜻하지 않는다. 연구의 의미는 하드웨어를 늘리는 것만큼 계산 순서, 임시값 저장, 불필요한 기록을 되돌려 지우는 절차를 함께 개선하는 일이 중요하다는 데 있다. AI가 이런 선택지를 빠르게 탐색하면 문제에 맞춘 양자 알고리즘과 하드웨어 기능을 설계하는 도구로 활용될 수 있다.

이번 연구는 안디 구, 알렉 H. 케메니, 수전 F. 옐린, 미하일 D. 루킨이 수행했으며, 46쪽 분량의 논문은 2026년 10월 15일 제출됐다.

자료: 앤트로픽, 하버드대학교, 퀘라컴퓨팅, arXiv