서로 다른 로봇의 ‘눈’ 함께 학습한다…UNIST, 거리 인식 AI ‘FeDepth’ 개발

드론과 사족보행로봇처럼 서로 다른 높이와 시점에서 세상을 보는 로봇들이 원본 영상을 한곳에 모으지 않고도 서로의 경험을 거리 판단에 활용하는 인공지능 기술이 나왔다. 울산과학기술원(UNIST) 인공지능대학원 주경돈 교수팀은 단안 깊이 추정 AI 모델을 위한 연합학습 기술 ‘페뎁스(FeDepth)’를 개발했다고 밝혔다.

단안 깊이 추정은 한 대의 카메라로 촬영한 영상에서 물체나 공간까지의 거리를 계산하는 기술이다. 사람은 두 눈으로 입체감을 얻지만, 이 기술은 한쪽 눈에 해당하는 영상만으로 가까운 곳과 먼 곳을 구분한다. 자율주행과 물류 배송, 서비스 로봇, 재난 구조, 산림 감시 등에서 로봇이 주변 환경을 파악하는 데 쓰일 수 있다.

여러 장소의 영상을 중앙 서버에 모아 AI를 학습시키면 다양한 환경을 반영할 수 있지만, 고해상도 영상을 계속 전송해야 한다. 연합학습은 각 로봇이 보유한 원본 데이터로 모델을 학습한 뒤 모델의 업데이트만 공유하는 방식이다. 기반 기법인 ‘FedAvg’는 Google Research 연구진이 2017년 제안한 반복적 모델 평균 방식으로, 당시 동기식 확률경사하강법보다 필요한 통신 라운드를 10~100배 줄였다고 보고됐다. 다만 이 수치는 FeDepth의 통신량이나 비용을 직접 측정한 결과는 아니다.

기존 연합학습은 참여 로봇의 학습 결과를 일괄적으로 평균 내기 때문에 데이터 차이가 클수록 성능이 떨어질 수 있다. 같은 숲에서도 드론과 사족보행로봇은 시점이 다르고, 같은 로봇도 낮과 밤에 전혀 다른 영상을 얻는다. 실제 데이터에는 로봇 종류와 장소, 조명 같은 속성이 명확히 나뉘지 않고 겹쳐 나타난다.

FeDepth는 영상 특성이 비슷한 로봇을 묶으면서 하나의 로봇을 여러 군집에 중복 배정하는 ‘소프트 클러스터링’을 적용했다. 숲을 촬영한 드론이 숲의 사족보행로봇과 한 군집에 속하는 동시에 도심을 촬영한 드론과도 다른 군집을 구성하는 식이다. 연구팀은 영상 특징의 평균과 분산을 기술자로 만들고, 두 분포가 얼마나 다른지를 나타내는 제프리스 발산으로 유사도를 계산했다.

실제 로봇 이질성을 다룬 HPE 실험에는 M3ED의 지상차량·드론·사족보행로봇 영상 52개 시퀀스, 총 5만2천604프레임이 쓰였다. 연구팀은 41개 시퀀스를 각각 학습 클라이언트로 삼고, 학습에서 보지 못한 11개 시퀀스로 성능을 시험했다. 여기에는 실내·숲·주간도시·야간도시와 서로 다른 로봇 플랫폼의 속성이 함께 포함됐다.

거리 추정의 상대오차인 Abs Rel은 값이 낮을수록 정확하다. FedAvg와 비교했을 때 FeDepth를 적용한 AdaBins는 0.434에서 0.318로 약 26.7%, NeWCRFs는 0.366에서 0.249로 32.0%, DCDepth는 0.351에서 0.293으로 약 16.5% 감소했다. 여러 군집에 데이터를 겹쳐 반영하는 비율은 20%일 때 오차가 0.249로 가장 낮았다. 중복률 0%에서는 0.335, 모든 군집에 넣는 100%에서는 0.365였다. 무조건 많이 섞기보다 공통점과 차이를 적절히 나누는 것이 중요하다는 결과다.

다만 같은 HPE 실험에서 데이터를 한곳에 모은 중앙집중학습의 오차는 세 모델에서 각각 0.222, 0.166, 0.159로 FeDepth보다 낮았다. FeDepth의 의미는 중앙집중학습을 능가했다는 데 있지 않고, 원본 영상을 모으기 어려운 조건에서 일반 연합학습의 이질성 문제를 줄였다는 데 있다. 미국 국립표준기술연구소는 원자료를 보내지 않더라도 개별 모델 업데이트에서 학습 데이터가 유출될 수 있어 보안 집계나 동형암호 같은 별도 보호 수단이 필요하다고 설명한다.

논문 저자는 이강현·이인하·이준희·이정언·윤성환·주경돈 연구자이며, 이강현·이인하 연구원이 공동 제1저자, 주경돈 교수가 교신저자다. 논문은 2026년 8월 2일 공개됐고 유럽 컴퓨터 비전 학술대회 ECCV 2026에 채택됐다. 학회는 9월 8일부터 12일까지 스웨덴 말뫼에서 열린다.

자료: 울산과학기술원(UNIST), 유럽컴퓨터비전협회(ECVA·ECCV), Google Research, 미국 국립표준기술연구소(NIST)