“전자레인지 버튼도 로봇이 안다”…GIST, 물체 부품·기능까지 읽는 AI 개발

전자레인지가 어디 있는지 아는 로봇도 정작 음식을 데우지는 못할 수 있다. 문을 열려면 손잡이를 찾아야 하고, 작동시키려면 버튼의 위치와 기능까지 알아야 하기 때문이다. 사람에게는 당연한 이 정보를 로봇에게 가르치는 기술을 국내 연구팀이 개발했다.

광주과학기술원(GIST, 총장 임기철)은 AI학과 김의환 교수 연구팀이 로봇이 주변 물체는 물론 손잡이·버튼 같은 세부 부품과 그 기능까지 함께 파악할 수 있는 인공지능(AI) 기술을 개발했다고 17일 밝혔다.

연구팀은 물체와 부품의 위치뿐 아니라 각각의 기능과 가능한 행동까지 하나로 연결해 보여주는 '통합 3차원 장면 그래프'(Unified 3DSG)를 제시하고, 실제 카메라 영상에서 이를 자동으로 만들어내는 AI 기술 OP3DSG(Open-Vocabulary Part-Aware 3D Scene Graph Generation)를 개발했다. 3차원 장면 그래프란 로봇이 공간 속 물체들 사이의 관계를 연결해 표현하는 일종의 로봇용 지도로, 로봇이 주변 환경을 이해하고 이동하거나 작업 순서를 계획하는 데 쓰인다. 기존 기술은 의자나 전자레인지 같은 물체 단위 정보 표현에 그쳐, 크기가 작고 촬영 각도에 따라 모습이 크게 달라지는 손잡이 같은 하위 부품까지는 제대로 표현하지 못하는 한계가 있었다.

OP3DSG는 먼저 영상에서 오븐 같은 주요 물체를 찾은 뒤, 그 안에 포함될 것으로 예상되는 버튼·문·손잡이 등 세부 부품을 함께 탐색한다. 이후 여러 각도에서 찍은 영상 정보를 3차원 공간으로 통합하는데, 이때 작은 부품이 서로 다른 영상에서 같은 부품인지 구분하기 위해 위치·의미뿐 아니라 색상 정보까지 함께 비교한다. 이렇게 기본적인 공간 관계를 구성한 뒤에는 대규모언어모델(LLM, 사람처럼 문장을 이해하고 만들어내는 AI)을 활용해 부품과 물체 사이의 기능적 관계와 가능한 행동을 검토하고 보완한다. 예를 들어 전자레인지와 손잡이의 공간적 관계에 더해 '손잡이가 문을 여는 데 쓰인다'는 기능적 관계까지 연결하는 방식이다.

연구팀이 새로 만든 평가 체계 유니그래프3D(UniGraph3D)로 성능을 검증한 결과, AI가 찾아낸 상위 3개 후보 안에 정답 부품이 포함되는 비율은 83.6%로, 기존 최고 성능(52.4%)보다 31.2%포인트 높았다. 물체와 부품 사이의 공간적 관계 파악 성능은 기존 최고 성능보다 7.9%포인트, 기능적 관계 파악 성능은 9.2%포인트 향상됐다.

연구팀은 이 기술을 이동형 로봇 '스트레치 3'(Stretch 3)에 실제로 적용해 활용 가능성도 확인했다. 로봇은 주변 의자 개수를 파악하거나 TV를 켜기 위한 리모컨 위치를 찾아 이동할 수 있었고, "빨래를 정리해 줘"라는 지시에는 수건을 찾아 바구니에 넣는 작업 순서를 계획했다. "목이 마르다, 마실 때 쓸 수 있는 것을 가져다 달라"처럼 구체적 물체 이름 없이 내려진 지시에도 기능적 관계를 바탕으로 필요한 물체를 찾아 이동 목표를 정할 수 있었다.

김의환 교수는 "이번 연구의 핵심은 로봇이 무엇이 어디에 있는지뿐 아니라 어떤 부품을 사용할 수 있고 어떻게 사용할 수 있는지까지 이해하는 데 필요한 정보를 하나로 연결한 것"이라며 "앞으로 서비스 로봇이 복잡한 실제 환경을 이해하고 사람의 자연어 지시를 구체적인 작업 계획과 이동으로 연결하는 데 기반 기술로 활용될 수 있을 것"이라고 말했다.

이번 연구는 GIST AI학과 김의환 교수가 지도하고 김이룸 석박사통합과정생이 제1저자로 수행했다. 연구 결과는 아카이브(arXiv)에 논문 'OP3DSG: Open-Vocabulary Part-Aware 3D Scene Graph Generation for Real-World Environments'로 사전 공개됐으며, 컴퓨터비전 분야 최상위 국제학술대회인 유럽컴퓨터비전학회(ECCV) 2026에 채택돼 9월 8일부터 12일까지 스웨덴 말뫼에서 열린 학회에서 발표됐다. 논문 초록에 따르면 OP3DSG는 물체·부품 간 공간적 관계뿐 아니라 상호작용 가능한 부품, 기능적 관계, 행동유발성까지 하나의 통합 그래프로 표현하며, 이를 위해 물체-부품 구조로 부품 후보를 확장·검증하는 방식과 여러 시점에서 작은 부품의 정밀 형상을 보존하는 3차원 융합 방식, 기하학적 근거에 기반해 검증하는 LLM 추론 방식을 결합했다.

기존 3차원 장면 그래프 연구는 실내 환경에서 로봇이 의자·테이블 같은 물체 단위의 공간 배치와 관계를 인식하는 데 주로 활용돼 왔다. 최근에는 정해진 범주에 갇히지 않고 다양한 사물을 인식하는 개방형 어휘 기술과 거대언어모델을 결합해 사람의 자연어 지시를 실제 로봇 행동으로 연결하려는 연구가 활발히 이뤄지고 있다. 이번 OP3DSG 연구는 물체 전체가 아니라 손잡이·버튼 같은 하위 부품 단위까지 인식 대상을 세분화했다는 점에서, 서비스 로봇이 가전제품 조작처럼 정교한 작업을 수행하기 위한 인식 기술의 연장선에 있다.

자료: 광주과학기술원(GIST), arXiv, European Conference on Computer Vision(ECCV)