하드웨어 넘어선 '행동 데이터' 경쟁… 피지컬 AI, 현실·가상 넘나드는 학습 혁신
로봇에게 어려운 동작을 가르치는 경쟁의 무게중심이 로봇 팔·다리 같은 하드웨어 성능에서 로봇을 학습시킬 '행동 데이터' 확보 쪽으로 옮겨가고 있다. 인공지능(AI) 업계의 관심이 텍스트·이미지를 다루는 생성형 AI를 넘어, 물체를 쥐고 옮기는 등 물리적 세계와 직접 상호작용하는 '피지컬 AI(Physical AI)'로 확산하면서 나타난 변화다.
엔씨AI는 디지털 트윈과 월드모델, 정밀 모션 데이터 등 가상화 기술을 활용해 피지컬 AI에 필요한 고난도 학습 데이터 기반을 구축하고 있다고 25일 밝혔다. 인터넷에 쌓인 텍스트·영상만으로는 실제 현장에서 물건을 들 때 느껴지는 무게감, 바닥과의 마찰력, 예측하지 못한 변수를 온전히 반영하기 어렵다는 문제의식에서다.
가장 직관적인 방법은 사람이 로봇을 원격으로 직접 조작하는 '텔레오퍼레이션(Teleoperation)'이다. 작업자가 물체를 쥐거나 옮기면 로봇 관절이 얼마나 돌아갔는지, 힘을 어떻게 나눠 썼는지, 카메라로 본 장면은 어땠는지가 하나의 데이터로 쌓인다. 여기에 로봇이 목표를 이룰 때까지 수많은 시도를 반복하며 스스로 방법을 찾는 '강화학습(Reinforcement Learning)'도 함께 쓰인다. 다만 실제 현장에서 이런 반복 학습을 하려면 시간과 비용이 막대하게 들고, 작은 오작동이 설비 파손이나 사고로 이어질 위험도 크다.
이 한계를 풀 방법으로 떠오른 것이 '디지털 트윈(Digital Twin)'과 정밀 시뮬레이션이다. 공장이나 물류창고, 험한 지형 같은 작업 환경을 컴퓨터 그래픽과 물리 엔진으로 가상공간에 똑같이 옮겨 놓으면, 수천 대의 가상 로봇이 위험 없이 무제한으로 시행착오를 겪으며 데이터를 쌓을 수 있다. 인터넷에 있는 사람의 2차원(2D) 행동 영상을 분석해 로봇 동작을 만드는 시도도 이어지고 있지만, 2D 영상만으로는 무게나 마찰력 같은 물리적 정보를 읽어내기 어렵다는 한계가 있다. 이 때문에 업계는 사람의 영상 데이터와 실제 로봇 조작 데이터, 시뮬레이션으로 만든 합성 데이터를 섞어 서로의 빈틈을 메우는 방식을 함께 활용하고 있다.
국내에서도 게임 엔진과 가상화 기술을 로봇 학습에 접목하려는 움직임이 가시화하고 있다. 엔씨는 그동안 쌓아 온 모션 캡처·애니메이션 제어 기술과 월드모델 기술을 바탕으로 피지컬 AI 데이터 생태계 확장에 나섰다. 국방 분야에서는 현대로템과 함께 무인 지상 장비·로봇의 작전 운용을 가상 환경에서 미리 학습하고 검증하는 피지컬 AI 통합 시뮬레이터를 개발 중이다. 현실에서는 반복하기 어려운 극한의 전장 환경을 가상으로 만들어 학습의 신뢰도를 높인다는 전략이다. LG전자 등과 함께 참여 중인 휴머노이드 국책과제에서는 사람과 로봇 사이의 동작 전환 기술을 맡았다. 사람의 움직임을 폭넓게 기록하는 '일반 동작 추적(GMT)' 데이터를 만들고, 사람의 유연한 동작을 로봇 관절이 실제로 움직일 수 있는 범위와 균형 조건에 맞게 바꾸는 '휴먼-로봇 리타게팅(Human-to-Robot Retargeting)' 기술을 실제로 적용해 검증하고 있다.
정부 차원에서도 온디바이스 AI 반도체 관련 국책 연구개발 지원이 이어지고 있다. 한국산업기술기획평가원(KEIT)은 2026년도 K-온디바이스 AI반도체 기술개발사업 신규 지원대상 연구개발과제 공고를 내고 지난 6월 18일부터 7월 10일까지 접수를 진행했다. 다만 이번 공고에는 휴머노이드 분야 세부 내용이나 사업 예산 규모, 구체적인 수행기관 지정 여부까지는 담겨 있지 않아, 이번에 확인한 엔씨AI의 개별 프로젝트와 직접 연결되는지는 확인되지 않았다.
제조·물류 현장에 자율형 로봇 도입이 늘어날수록 업계의 관심은 로봇 구동부의 사양보다 데이터를 모으고 다듬는 훈련 파이프라인의 완성도로 옮겨가고 있다. 물리 세계에서 얻은 정밀한 감각 정보와 가상 세계가 주는 확장성을 함께 살리지 못하는 기업은 실제 현장에 로봇을 투입하는 단계에서 병목에 부딪힐 수밖에 없다는 지적이 나온다. 결국 사람이 몸으로 익힌 감각과 요령을 얼마나 정교한 기계 학습 데이터로 바꿔낼 수 있느냐가 앞으로 피지컬 AI 시장의 주도권을 가르는 분수령이 될 전망이다.
자료: 엔씨AI, 한국산업기술기획평가원