크래프톤·서울대, 게임과 로봇 잇는 ‘월드모델’ 3년 공동연구

게임 속 인물의 움직임을 학습한 인공지능이 현실의 로봇처럼 다음 상황을 예측할 수 있을지 살피는 산학 공동연구가 시작됐다. 크래프톤과 서울대학교 대학원 협동과정 인공지능전공은 서울대에서 출범식을 열고, 게임과 로봇 분야를 아우르는 ‘월드모델’ 연구 주제와 참여 연구진을 공개했다.

월드모델은 인공지능이 현재 상황을 이해하고, 어떤 행동을 선택했을 때 주변 환경이 어떻게 달라질지 예측하고 시뮬레이션하는 기술이다. 사람이 좁은 통로를 지나기 전에 몸이 부딪힐지 가늠하듯, 인공지능도 공간과 사물의 상태를 파악해 행동 이후의 변화를 예상해야 한다. 게임에서는 자연스러운 가상세계와 캐릭터 행동을 만드는 데, 로봇에서는 현실 공간에서 움직임을 결정하는 데 이런 능력이 필요하다.

양측의 공동연구는 앞으로 3년간 서울대 교수진이 수행하는 세 가지 연구과제와 공동연구센터 운영과제로 진행된다. 첫 번째 축은 인공지능이 긴 영상을 생성할 때 공간 구조와 사물의 모습이 도중에 달라지지 않도록 일관성을 유지하는 연구다. 짧은 장면을 그럴듯하게 만드는 데 그치지 않고, 시간이 길어져도 같은 장소와 물체가 앞뒤 장면에서 서로 맞아야 한다는 문제를 다룬다.

두 번째 축은 게임 속 동작 데이터를 활용해 사람과 주변 사물의 움직임을 자연스럽게 연결하는 기술이다. 사람의 행동만 따로 표현하는 것이 아니라, 사람이 움직일 때 가까운 물체와 환경이 어떻게 반응하는지 함께 다루려는 것이다. 세 번째 축은 가상 장면을 이용해 인공지능이 통로의 폭이나 물체까지의 거리 같은 공간 정보를 실제 판단 근거로 사용하는지 검증하는 연구다.

연구진은 각 과제의 성과를 비교하고 평가할 수 있는 벤치마크도 구축한다. 벤치마크는 서로 다른 인공지능 모델이 같은 문제를 얼마나 잘 푸는지 재는 공통 시험대다. 이번 연구가 영상의 겉모습뿐 아니라 거리와 공간 구조를 판단에 활용하는지까지 따로 확인하는 것은, 보기 좋은 장면 생성과 행동에 필요한 물리·공간 이해를 구분해 평가하려는 접근으로 볼 수 있다.

월드모델 연구의 학술적 배경도 게임과 로봇의 접점을 보여준다. 2018년 공개된 ‘World Models’ 논문은 환경의 시간·공간 정보를 압축해 학습한 생성모델 안에서 에이전트의 행동 정책을 훈련한 뒤 실제 환경으로 옮기는 접근을 제시했다. 이는 게임 시뮬레이션과 로봇 제어를 ‘행동한 다음 상태가 어떻게 변하는가’라는 공통 문제로 연결한 선행 사례다.

이번 출범은 양측이 지난해 11월 체결한 산학협력협약을 바탕으로 마련됐다. 협약에는 공동연구, 인력 교류와 학생 인턴십 활성화, 대학원 내 기업 연구센터 설치 추진이 포함됐다. 공동연구센터는 성과교류회와 학생 인턴십을 운영하고 새로운 공동연구과제도 발굴할 계획이다. 크래프톤은 이를 통해 인공지능 연구자와의 교류를 넓히고 인재 확보 기반도 강화한다.

양측은 과학기술정보통신부의 AI스타펠로우십지원 사업을 통해서도 공동연구를 이어왔다. 정보통신기획평가원의 2025년 사업 안내서에 따르면 이 사업은 2개 이상의 대학 인공지능 연구실과 협력기업으로 구성된 산학 컨소시엄을 대상으로 한다. 과제당 연간 15억원 안팎을 4년간 지원하고, 평가에 따라 2년을 추가해 최대 6년간 운영할 수 있는 구조이며 2025년 사업 예산은 60억원이다. 다만 이는 사업 전체의 기준으로, 크래프톤·서울대 연구에 실제 배정된 금액이나 기간을 뜻하지는 않는다.

크래프톤의 2025년 반기보고서는 인공지능 연구 성과로 NeurIPS·ICML·ICLR 등 학회 채택 논문 38편과 ICLR 2025 스포트라이트 논문 3편을 제시했다. 같은 해 6월에는 게임 플레이 능력을 평가하는 벤치마크 ‘ORAK’을 개발했다고 밝혔다. 이번 협력은 게임에서 축적한 시뮬레이션과 가상세계 구축 역량을 월드모델 연구에 연결하고, 그 결과를 게임 경험과 로보틱스 분야로 확장하려는 시도다.

자료: 크래프톤, 서울대학교, 정보통신기획평가원, arXiv