엑스와이지·오픈그래프랩스, 실제 작업에서 로봇 행동 데이터 모은다

사람이 현장에서 물건을 보고 손으로 다루는 실제 작업 과정이 로봇을 훈련하는 학습 자료로 바뀐다. AI 로보틱스 기업 엑스와이지(XYZ)와 오픈그래프랩스(Open Graph Labs)는 피지컬 AI 행동 데이터 수집을 위해 협력한다고 밝혔다.

피지컬 AI는 현실 공간에서 움직이고 작업하는 인공지능을 뜻한다. 엑스와이지의 자회사 라운지엑스(LoungeX) 작업자들은 오픈그래프랩스가 개발한 비전 시스템과 촉각 글러브를 착용하고 업무를 수행한다. 비전 시스템은 카메라로 작업자가 보는 현장 정보를 기록하고, 촉각 글러브는 손의 움직임과 물체에 접촉할 때 생기는 정보를 수집한다. 여러 종류의 정보를 함께 담은 멀티모달 행동 데이터가 실제 작업 과정에서 만들어지는 방식이다.

이번 협력은 통제된 실험실이 아니라 로봇이 적용된 실제 운영 환경에서 데이터를 모은다는 데 초점을 맞췄다. 생성형 AI가 인터넷의 글과 이미지를 바탕으로 발전했다면, 피지컬 AI는 사람이 무엇을 보고 어떤 순서로 손을 움직여 물체를 다루는지 학습해야 한다. 매장에서 물건을 옮기고 정리하거나 고객이 있는 공간에서 안정적으로 일하려면 현장에서 축적한 행동 데이터가 필요하다는 설명이다.

역할도 나눴다. 라운지엑스는 실제 운영 환경과 현장 업무에 관한 지식을 제공하며 데이터 수집을 맡는다. 오픈그래프랩스는 수집 장비를 운영하고 원천 데이터의 품질 관리와 정제를 담당한다. 엑스와이지는 확보한 데이터를 자사의 로봇 행동지능 프레임워크 ‘브레인엑스(BrainX)’ 고도화에 활용할 예정이다. 프레임워크는 로봇이 상황을 이해하고 행동하도록 만드는 기술 체계를 말한다.

수집된 현장 데이터는 오픈그래프랩스의 데이터 처리 과정으로 연결된다. 오픈그래프랩스는 한국과 멕시코 등에서 확보한 원천 데이터를 품질 검수와 익명화, 구간 분할, 행동 라벨링을 거쳐 로봇 학습용 자료로 만든다. 행동 라벨링은 기록된 장면에 ‘집기’나 ‘옮기기’처럼 어떤 행동인지 표시하는 작업이다. 이를 통해 로봇이 실제 서비스·상업·물류 환경에서 만날 수 있는 상황을 학습하도록 한다.

오픈그래프랩스는 현재 글로벌 빅테크 3개사를 고객으로 확보했다고 밝혔다. 라운지엑스 현장에서 수집·정제한 행동 데이터도 같은 공급망을 통해 고객사에 제공할 예정이다. 협업에 쓰이는 촉각 글러브는 엔비디아 아이작 텔레오퍼레이션 데이터 캡처 생태계에서 촉각 기반 수집 장치로 언급됐으며, 우지·마누스·엑스센스 등 로보틱스 모션캡처 분야 브랜드와 함께 이름을 올렸다.

두 회사는 앞으로 실제 환경을 기반으로 한 행동 데이터 공급망을 공동 구축하고, 피지컬 AI에 필요한 데이터를 지속해서 확보할 계획이다.

자료: 엑스와이지·오픈그래프랩스