화면 속 캐릭터를 움직이던 AI, 실제 로봇도 그대로 걷게 했다
화면 속 3D 캐릭터를 자연스럽게 걷게 만들던 인공지능(AI)이, 똑같은 원리로 실제 두 발 로봇을 움직이게 했다. 게임과 영화의 그래픽을 만들어 온 기술이 로봇을 학습시키는 방법과 하나로 이어지고 있다는 신호다. 엔비디아가 세계 최대 컴퓨터그래픽 학회에서 내놓은 이번 연구 묶음은, 가상 세계에서 캐릭터를 다루는 일과 현실에서 로봇을 다루는 일이 점점 같은 문제가 되고 있음을 보여준다.
테크월드에 따르면 엔비디아는 지난 21일 미국에서 열린 시그라프(SIGGRAPH) 2026에서 '피지컬 AI'와 가상 세계 시뮬레이션을 주제로 한 기술 논문 21편을 공개했다. 시그라프는 컴퓨터그래픽 분야에서 가장 권위 있는 국제 학회로, 여기에 채택된 논문은 관련 코드·모델과 함께 게임, 영화, 로봇, 디지털 트윈(현실을 그대로 옮긴 가상 복제본) 등 여러 산업으로 곧장 흘러 들어간다.
피지컬 AI란 화면 속에서 그럴듯하게 보이는 데 그치지 않고, 중력·마찰·충돌 같은 물리 법칙을 지키며 움직이는 AI를 말한다. 로봇이 넘어지지 않고 걷거나, 물체를 실제처럼 집어 올리려면 이 물리적 사실성이 핵심이 된다.
같은 모델이 캐릭터도, 로봇도 걷게 하다
이번 발표에서 가장 눈길을 끈 것은 실시간 모션 모델 '모션브릭스(MotionBricks)'다. 이 모델은 35만 개가 넘는 사람의 동작 데이터(모션 클립)를 학습했다. 짧은 동작 하나를 1개의 클립으로 본다면, 걷기·앉기·손 뻗기 같은 움직임을 35만 번어치 지켜본 셈이다. 덕분에 게임 엔진 수준의 속도로 캐릭터를 자연스럽게 움직일 수 있다.
핵심은 이 하나의 모델이 화면 속 애니메이션 캐릭터와 실제 휴머노이드 로봇을 동시에 제어했다는 점이다. 엔비디아는 시연에서 유니트리(Unitree)의 이족보행 로봇 'G1'을 같은 모델로 움직였다. 그동안 그래픽용 캐릭터 제어 기술과 로봇 제어 기술은 서로 다른 영역으로 여겨졌지만, 이번 사례는 둘을 하나의 모델로 묶을 수 있음을 보여준 것이다.
함께 공개된 '생성형 컨트롤러(GPC)'는 방대한 사람 동작 데이터로 미리 학습해 두고, 새로운 동작 과제가 주어지면 곧바로 대응하도록 만든 훈련 틀이다. 엔비디아는 이를 로봇의 움직임을 총괄하는 '기반 모델(파운데이션 모델)'의 출발점으로 소개했다. 언어를 두루 다루는 대형 언어모델처럼, 로봇의 움직임 전반을 하나의 큰 모델이 담당하도록 하겠다는 구상이다.
말 한마디로 움직이고, 눈·모래까지 계산하다
제어 방식을 더 쉽게 바꾸려는 연구도 나왔다. 'ARDY'는 "천천히 걸어와 손을 흔들어라" 같은 문장(텍스트 프롬프트)만으로 3D 캐릭터의 움직임을 실시간으로 조종한다. 복잡한 애니메이션 작업 없이 말로 지시하면 동작이 만들어지는 방식이다.
가상 세계를 더 사실적으로 채우는 기술도 포함됐다. '아티픽서(ArtiFixer)'는 실제 공간을 3D로 촬영한 데이터를 정교한 가상 장면으로 다듬고, '비디오뉴맷(VideoNeuMat)'은 AI가 만든 영상에서 다시 쓰거나 조명을 바꿔 입힐 수 있는 재질 정보를 뽑아낸다. 물리 엔진 '뉴턴(Newton)'은 눈, 모래, 탄성을 가진 물체처럼 다루기 까다로운 물질의 움직임을 사실적으로 계산한다. 로봇이 눈길이나 모랫바닥 같은 환경을 가상에서 미리 겪어 보게 하는 데 쓰일 수 있는 대목이다.
그래픽 품질을 끌어올리는 성과도 있었다. 엔비디아는 단 한 번의 광선 추적(레이 트레이싱) 계산도 거치지 않고, 장면의 형태 정보만으로 사실적인 전역 조명(글로벌 일루미네이션)을 예측하는 기법을 선보였다. 레이 트레이싱은 빛의 경로를 하나하나 따라가 그림자와 반사를 그려 내는 방식으로, 사실적이지만 계산 부담이 크다. 이 부담을 줄이면 같은 장면을 더 빠르게 그릴 수 있다.
그래픽과 로봇, 경계가 흐려진다
이번 발표의 의미는 개별 기술의 성능보다 방향에 있다. 게임과 영화에서 캐릭터를 다루던 그래픽 기술이 로봇을 학습시키는 도구로 넘어가면서, 두 분야의 경계가 흐려지고 있다는 것이다. 가상에서 값싸게 반복 학습한 결과를 현실 로봇으로 옮기는 흐름은, 스마트팩토리와 서비스 로봇 개발의 속도를 좌우할 변수로 꼽힌다.
다만 이번에 공개된 것은 학회 논문과 시연 단계의 성과로, 곧바로 상용 제품을 뜻하지는 않는다. 통제된 실험 환경에서 검증한 동작이 예측이 어려운 실제 현장에서도 안정적으로 재현될지는 별도의 검증이 필요하다. 그럼에도 그래픽·물리·로봇을 하나의 AI로 묶으려는 이번 시도는, 앞으로 로봇 학습이 어느 쪽으로 향할지를 가늠하게 하는 이정표로 읽힌다.
참고 자료
· 엔비디아, 그래픽 연구 기반 '피지컬 AI' 혁신 가속 — 테크월드 (2026.07.22)