칼텍·엔비디아, 연속 물리계 다루는 뉴럴 오퍼레이터 설계 원칙 제시

격자의 점 개수나 배치가 달라져도 같은 물리 문제군을 학습할 수 있는 인공지능 설계 지침이 나왔다. 언어의 단어나 이미지의 픽셀처럼 나뉜 데이터를 주로 처리해 온 신경망을, 공간과 시간에 따라 연속적으로 변하는 물리 시스템에 맞게 확장하려는 시도다.

캘리포니아공과대학교 아니마 아난드쿠마르 브렌 컴퓨팅·수리과학 석좌교수 연구팀과 엔비디아 연구진은 뉴럴 오퍼레이터를 설계하는 원칙을 정리했다. 논문은 2026년 7월 3일 ‘Principled approaches for extending neural architectures to function spaces for operator learning’이라는 제목으로 게재됐다. 2025년 6월 12일 프리프린트가 공개됐고 2026년 6월 5일 채택됐다.

저자 7명 가운데 4명은 엔비디아, 3명은 칼텍 소속이며 율리우스 베르너와 미겔 리우시아피니가 공동 제1저자다. 뉴럴 오퍼레이터는 편미분방정식의 한 사례에만 답을 내는 대신, 초기조건·경계조건·계수·형상이 달라지는 문제군에서 함수와 함수 사이의 관계를 학습하는 대리모델이다. 복잡한 계산을 대신 수행하도록 훈련한 근사 모델이라는 뜻이다.

연구진은 뉴럴 오퍼레이터가 갖춰야 할 요건으로 세 가지를 제시했다. 첫째는 해상도와 격자에 구속되지 않는 이산화 독립성이다. 둘째는 해상도가 바뀌어도 모델의 매개변수 수가 고정돼야 한다는 조건이다. 셋째는 충분히 정칙인 연산자를 원하는 수준까지 근사할 수 있는 보편근사 가능성이다.

기존 신경망 구조를 함수공간 관점에서 해석하는 방법도 정리했다. 완전연결층은 적분변환으로, 합성곱신경망은 물리 좌표와 고정 반경을 사용하는 연속 합성곱으로 확장했다. 그래프신경망의 이웃 합산에는 구적 가중치, 즉 적분값을 수치로 계산할 때 각 표본에 주는 비중을 포함했다. 트랜스포머의 어텐션은 입력에 따라 달라지는 전역 적분 연산자로 재정의했다.

실험에는 비압축성 나비에–스토크스 문제가 쓰였다. 연구진은 초기 와도가 0인 조건에서 외력 함수를 입력받아 이후 시점의 와도로 사상하는 과정을 다뤘다. 와도는 유체가 국소적으로 얼마나 회전하는지를 나타내는 양이다.

이번 성과는 새로운 단일 모델을 내놓은 연구라기보다 푸리에 뉴럴 오퍼레이터, 국소 연산자, 그래프·트랜스포머·인코더–디코더 구조를 연속 함수공간에서 통합적으로 설계하기 위한 지침에 가깝다. 모든 신경망을 자동으로 바꾸는 절차를 제시한 것은 아니다.

선행 푸리에 뉴럴 오퍼레이터 연구는 2020년 제출돼 2021년 발표됐으며, 기존 편미분방정식 해법보다 최대 세 자릿수 규모의 속도 향상을 보고했다. 2024년 후속 연구는 국소 적분·미분 커널을 추가해 2차원 난류 나비에–스토크스와 구면 천수방정식 실험에서 상대 L2 오차를 34~72% 줄였다고 밝혔다.

해결할 과제도 남아 있다. 논문은 고해상도 전역 어텐션의 큰 계산비용, 고정 해상도 전용 신경망보다 성능이 낮아질 가능성, 실제 이산화 오차를 정량적으로 통제해야 하는 문제를 한계로 제시했다. 연구비에는 미 해군연구청의 MURI 과제, Schmidt Sciences의 AI2050 프로그램, Mellon Mays Undergraduate Fellowship이 포함됐다.

자료: California Institute of Technology, NVIDIA Research, Nature Machine Intelligence, Proceedings of Machine Learning Research