[기획] 52만4288개 메모리 소자가 동시에 계산했다…6만5536점 FFT를 아날로그 칩에 옮긴 방법
4.096초 동안 녹음한 음성을 주파수별로 잘게 펼치려면 6만5536개의 표본을 한꺼번에 다뤄야 한다. 이 거대한 계산에 연구진이 꺼내 든 도구는 계산장치가 아니라 원래 숫자를 저장하는 메모리였다. 52만4288개의 SONOS 메모리 소자가 한 번의 256점 행렬·벡터 곱에 동시에 참여했고, 연구진은 이 계산 블록을 반복 사용해 6만5536점 고속 푸리에 변환(FFT)을 구현했다.
다만 52만4288개 소자가 6만5536점 전체를 단번에 계산한 것은 아니다. 6만5536을 256×256으로 나눠 256점 이산 푸리에 변환(DFT)을 두 단계로 실행하고, 그 사이의 데이터 재배열과 회전인자 곱 등을 디지털 회로가 맡았다. 정확히는 ‘아날로그 FFT’, 곧 아날로그 메모리 연산과 디지털 후처리를 결합한 혼합신호 FFT 가속기다.
미국 샌디아국립연구소·인피니언 테크놀로지스·애리조나주립대 연구진의 결과는 2026년 10월 19일 네이처 일렉트로닉스에 공개됐다. 연구진은 음성의 스펙트로그램과 6만5536점 전체 스펙트럼, 256×256 RGB 영상의 2차원 FFT와 역 FFT(IFFT)를 실험하며, 인공지능용 행렬곱에 집중됐던 아날로그 인메모리 컴퓨팅을 FFT 기반 신호처리로 확장할 수 있음을 보였다.
340억 개짜리 계산표를 256점 교실로 나누다
푸리에 변환은 시간에 따라 변하는 음성이나 영상 같은 신호를 주파수 성분으로 풀어내는 계산이다. DFT는 이를 수학적으로 수행하는 방식이고, FFT는 DFT의 반복 구조를 이용해 계산량을 줄이는 알고리즘이다. 6만5536점 DFT를 거대한 행렬 하나로 직접 구현하려면 논문 계산상 약 340억 개의 메모리 소자가 필요한다. 6만5536명이 서로 모두와 계산하는 거대한 표를 미리 마련하는 것과 비슷하다.
연구진은 Cooley–Tukey FFT 분할법으로 이 문제를 작은 DFT들의 조합으로 바꿨다. 6만5536은 256×256이므로 256점짜리 계산 교실을 여러 차례 사용한 뒤 중간 결과를 재배열하고 합치면 된다. 256점 복소 DFT 하나에는 512행×1024열, 모두 52만4288개 소자가 동원됐다. 소자 수를 크게 줄인 대신 같은 배열을 반복 실행하고 디지털 중간 처리를 거쳐야 하는 구조다.
직접 아날로그 DFT는 문제 크기 N이 커질 때 에너지와 면적이 O(N²), 즉 N의 제곱에 비례해 늘어난다. 연구진이 제시한 아날로그 FFT는 이를 O(N logKN)으로 낮췄다. 여기서 K는 한 배열이 처리하는 기초 DFT의 크기다. 최신 공개 상세본은 이번 계산 규모가 선행 결과보다 500배 초과라고 설명했다.
전류가 곱하고, 디지털 회로가 결과를 조립했다
시험 칩은 40나노미터 CMOS 공정으로 제작된 1024×1024 SONOS 전하포획 메모리 배열이다. 전체 소자는 104만8576개다. SONOS 셀에 저장된 전하가 트랜지스터의 전도도, 다시 말해 전류가 얼마나 잘 흐르는지를 정한다. 각 셀을 흐름의 세기를 조절하는 수도꼭지처럼 설정하면 입력 신호와 저장된 가중치의 곱이 전류로 나타나고, 같은 열의 전류를 합쳐 덧셈까지 수행할 수 있다.
푸리에 변환에는 실수부와 허수부를 가진 복소수 가중치가 필요하다. 연구진은 실수부와 허수부, 각각의 양수와 음수를 차동 전도도로 표현했다. 이 때문에 K점 복소 DFT에는 최소 2K행×4K열이 필요하며, 256점에서는 512×1024 배열이 사용됐다. 52만4288개 소자가 숫자를 보관하는 데 그치지 않고 52만여 개 가중 항의 곱과 합에 물리적으로 함께 참여한 셈이다.
그러나 계산 전체가 메모리 안에서 끝난 것은 아니다. 아날로그 전류를 12비트 아날로그·디지털 변환기(ADC)가 0~17마이크로암페어 범위의 숫자로 바꿨고, 비트별 누적과 데이터 저장·재배열, 회전인자 계산은 디지털 회로가 담당했다. 디지털 FFT는 radix-2나 radix-4처럼 문제를 잘게 쪼개는 방식이 일반적으로 유리하지만, 아날로그 배열에서는 분할 단계마다 ADC와 버퍼, 주변회로를 거쳐야 한다. 따라서 정확도가 허용하는 범위에서는 큰 기초 DFT를 사용해 단계 수를 줄이는 편이 에너지 측면에서 유리할 수 있다.
음성의 주파수와 영상 복원으로 계산을 검증하다
연구진은 16kHz로 표본화한 4.096초 음성, 모두 6만5536표본을 시험했다. 전체 음성 FFT는 256점 DFT 두 단계로 처리했으며 주파수 간격은 약 0.244Hz였다. FP32, 즉 32비트 부동소수점 계산 결과와 비교한 피크 신호대잡음비(PSNR)는 41.01dB였다. PSNR은 기준 결과와 얼마나 비슷한지를 나타내는 지표로, 값이 높을수록 오차가 작다는 뜻이다.
시간에 따라 음성의 주파수 구성이 어떻게 달라지는지 보여주는 스펙트로그램도 만들었다. 이 실험은 512표본 해밍 창을 128표본씩 옮겨 75%가 겹치도록 했고, 각 512점 FFT를 32점과 16점 DFT로 나눴다. FP32 결과와 비교한 PSNR은 55.97dB였다.
영상에서는 256×256 RGB 영상의 색상 채널을 각각 처리했다. 각 차원을 16×16으로 나눈 벡터-라딕스 FFT를 적용했으며, 세 영상의 복원 PSNR은 모두 25dB를 초과했다. SONOS가 계산한 스펙트럼에 디지털 FP32 IFFT를 적용한 복원뿐 아니라 SONOS 배열의 아날로그 벡터-라딕스 IFFT를 연이어 적용한 복원도 제시됐다.
여기에도 보정이 있었다. 디지털 IFFT를 사용한 영상은 배선 저항으로 전체 신호가 작아지는 현상을 보상하기 위해 Parseval 정리 기반의 단일 밝기 계수로 조정됐다. 아날로그 IFFT까지 사용한 실험에서는 매우 큰 직류 성분을 변환 전에 따로 빼고 마지막에 다시 더했다. 따라서 이를 아무런 디지털 처리나 보정이 없는 완전한 종단간 아날로그 영상 처리로 해석해서는 안 된다.
큰 배열의 이점과 아날로그 오차가 함께 드러났다
이번 실험은 큰 기초 DFT를 사용하면 분해 단계와 ADC 호출을 줄일 수 있다는 가능성을 보여줬다. 연구진의 모델 계산에서는 64~2048점 범위에서 AMD Versal VC1902 칩의 Versal AI Engine 부분보다 에너지 효율이 최소 59배 높을 것으로 추정됐다.
하지만 이 수치는 완성된 시험 칩의 직접 전력 측정 결과가 아니다. 제작된 40나노미터 칩은 정밀 아날로그 행렬 연산을 입증하기 위한 것으로 속도·전력·면적에 최적화되지 않았다. 에너지 전망은 측정한 SONOS 특성과 최적화된 40나노미터 주변회로 시뮬레이션을 결합한 모델 추정이다. 비교 대상 역시 전체 VCK190 평가보드의 소비전력이 아니라 VC1902의 AI Engine 처리시간과 설계도구가 추정한 AI Engine 전력이다.
정확도의 대가도 확인됐다. 배열이 커지면 배선의 기생저항 때문에 IR 강하, 즉 전류가 배선을 지나며 전압을 잃는 현상이 커진다. 큰 전류와 큰 스펙트럼 성분은 실제보다 작게 계산됐고, 17마이크로암페어를 넘는 값은 ADC 범위에서 잘렸다. 포화를 피하려고 DFT-256의 최대 전도도를 6.2마이크로지멘스로 낮추면서, 최대 20마이크로지멘스를 사용한 DFT-16보다 가중치 신호대잡음비가 낮아지고 오차가 커졌다. DFT-16의 가중치 평균 절대오차는 크기 0.0118, 위상 0.338도였지만 DFT-256에서는 각각 0.0458과 1.037도였다.
결국 큰 DFT는 주변회로 사용과 분해 단계를 줄이는 대신 IR 강하와 소자 편차에 더 취약하고, 작은 DFT는 정확도에 유리할 수 있지만 ADC·버퍼·중간 연산을 늘린다. 배열 크기와 정확도, 에너지 사이에서 어느 지점을 택할지가 남은 설계 문제다. SONOS의 변동과 드리프트는 최대 5일까지 측정됐으나 수개월·수년의 보존성, 온도 변화, 반복 재프로그래밍 내구성은 입증되지 않았다. 상용 시스템에서의 속도와 전체 소비전력, 장기 신뢰성 역시 추가 검증이 필요하다.
이번 연구는 340억 개 소자가 필요한 직접 행렬을 그대로 만들지 않고, 52만4288개 소자로 구성된 256점 계산 블록을 재사용해 6만5536점 FFT까지 확장할 수 있음을 실험으로 제시했다. 동시에 그 확장이 아날로그 메모리만의 성과가 아니라 ADC와 디지털 연산, 보정이 함께 만든 결과라는 점도 보여줬다. 메모리가 계산에 참여하는 방식이 대규모 신호처리로 나아갈 길은 열렸지만, 실험실의 가능성을 실제 시스템의 이점으로 바꾸는 검증은 이제 시작 단계다.
자료: 샌디아국립연구소·인피니언 테크놀로지스·애리조나주립대