로봇의 지능은 더 많이 보는 데서가 아니라 잘 잊는 데서 자란다

H-JEPA 연구에서 필자의 눈을 끈 것은 성공률이 18.0%에서 73.3%로 올랐다는 숫자만이 아니다. 더 중요한 대목은 로봇이 멀리 내다보기 위해서는 오히려 당장의 세부를 일부 잊어야 한다는 발상이다. 지금까지 인공지능의 발전을 더 많은 데이터와 더 큰 연산의 문제로 보는 시선이 강했지만, 물리 세계에서 행동하는 로봇에는 무엇을 기억하고 무엇을 버릴지 정하는 구조가 그에 못지않게 중요하다고 본다.

긴 계획과 짧은 제어는 다른 문제다

월드 모델은 행동했을 때 주변 세계가 어떻게 변할지를 내부에서 미리 그려보는 ‘머릿속 모의실험 장치’다. 그런데 미로의 출구를 찾는 일과 바로 앞 장애물을 피하는 일은 요구하는 시간 범위가 다르다. 먼 목표를 정할 때는 로봇 다리의 순간적인 움직임보다 현재 어느 구역에 있고 어디로 가야 하는지가 중요하다. 반대로 실제 동작 단계에서는 작은 자세 변화와 접촉 상태를 놓쳐서는 안 된다.

얀 르쿤 등이 참여한 연구진의 H-JEPA는 이런 차이를 여러 계층으로 나눈다. 높은 계층은 더 긴 시간 범위와 추상적인 상태를 다루고, 낮은 계층은 가까운 하위 목표를 실행한다. JEPA는 미래 화면의 모든 픽셀을 그대로 그리는 대신 잠재 표현, 즉 장면의 핵심을 압축한 내부 좌표를 예측한다. Visual AntMaze에서 3계층 모델이 단일 계층 모델보다 높은 성공률과 낮은 계획 연산량을 보인 것은 ‘더 크게 계산하기’보다 ‘문제를 알맞게 쪼개기’가 유효할 수 있음을 보여준다.

73.3%를 현실의 로봇 성능으로 읽어서는 안 된다

그러나 이 수치를 곧바로 공장이나 가정용 로봇의 돌파구로 해석하는 데에는 선을 그어야 한다. 시뮬레이션은 센서 잡음, 미끄러짐, 물체의 변형, 사람의 돌발 행동 같은 현실의 변수를 충분히 담기 어렵다. 특히 긴 계획에서 잘 버린 세부 정보가 실제 환경에서는 안전을 좌우하는 신호일 수도 있다. 계층 간 오류가 아래로 전달될 때 이를 감지하고 계획을 되돌리는 장치도 중요하다. 실제 로봇 영상에 대한 오프라인 계획 성능은 가능성을 뒷받침하지만, 현장에서 실시간으로 보고 판단하고 움직이는 온라인 제어의 검증을 대신하지는 못한다.

우리 산업이 준비할 것은 거대한 범용 모델을 그대로 로봇에 얹는 경쟁만이 아니다. 제조·물류·돌봄처럼 분야별로 긴 목표와 짧은 제어를 어떻게 나눌지 설계하고, 계층별 실패 원인을 추적할 평가 체계를 갖춰야 한다. 성공률뿐 아니라 충돌 위험, 계획 수정 능력, 연산 지연까지 함께 공개해야 한다. H-JEPA의 진짜 가치는 완성된 로봇 두뇌를 내놓았다는 데 있지 않다. 지능적인 행동은 정보를 모두 붙드는 능력이 아니라, 시간의 높이에 맞춰 세계를 다르게 보는 능력에서 시작된다는 점을 실험으로 선명하게 제시했다는 데 있다.