모르면 추측 대신 기억을 찾는다…ETRI·GIST, 로봇 AI 플랫폼 개발

로봇이 모르는 상황을 마주했을 때 언어모델의 일반 지식으로 답을 추측하지 않고, 자신이 앞서 관찰해 둔 환경정보를 다시 확인한 뒤 행동하는 인공지능(AI) 기술이 나왔다. 복잡한 공간에서 물건의 위치나 상태를 기억하고 필요한 정보만 찾아 쓰도록 해, 잘못된 판단을 줄이는 것이 핵심이다.

한국전자통신연구원(ETRI)은 광주과학기술원(GIST)과 공동으로 환경 관측과 능동적 기억 검색을 결합한 로봇 AI 에이전트 ‘씬쿼리플래너(SceneQueryPlanner)’를 개발했다고 밝혔다. 이 플랫폼은 추론을 뜻하는 ‘Think’, 환경을 확인하는 ‘Act’, 기억을 조회하는 ‘Query’를 번갈아 수행하면서 작업 순서를 정한다.

기억은 단순한 문장 목록이 아니라 계층형 3차원 장면 그래프로 구성된다. 장면 그래프는 공간과 사물, 이들 사이의 관계를 구조처럼 연결해 표현한 정보다. 로봇은 주변을 일부씩 관측하면서 이 그래프를 계속 갱신하고, 작업에 필요한 순간에는 객체 검색, 특정 노드 읽기, 하위 노드 이름 확인, 사물 사이의 관계 조회 같은 구조화된 질문을 보낸다.

이 방식의 초점은 가능한 정보를 무조건 많이 저장하는 데 있지 않다. 장면 전체를 긴 문장으로 바꿔 한꺼번에 언어모델에 입력하면 중요한 정보가 빠지거나 문맥이 지나치게 길어질 수 있다. 씬쿼리플래너는 현재 작업과 관련된 정보만 기억에서 골라 확인함으로써 이런 정보 누락과 문맥 과부하를 줄이도록 설계됐다. 정보를 얻는 행동 자체를 독립적인 계획 행동으로 다룬다는 점도 기존의 수동 관측형 언어모델 로봇 계획 방식과 구별된다.

연구진은 성능을 살피기 위해 ‘AttPlan-Bench’ 평가체계도 자체 개발했다. 이 평가는 ProcTHOR-10K 가상 주택을 바탕으로 한 기본 평가 500개와 속성 평가 250개로 구성됐다. 기본 평가는 10개 작업 유형별로 50개씩 마련됐다. 속성 평가 중 100개는 대상이 더럽거나, 켜져 있거나, 파손됐거나, 열려 있거나, 조리된 상태인지를 구별해야 하는 ‘AttributeHard’ 과제다. 별도로 VirtualHome을 기반으로 한 WAH-NL 평가 100개도 사용했다.

비교 대상에는 기억 기능이 없는 ReAct, 위치만 떠올리는 단순 작업기억 방식, 고정된 전체 장면 그래프를 검색하는 SayPlan, 장면 그래프 전체를 프롬프트에 문장 형태로 넣는 MoMa-LLM이 포함됐다. 연구진은 임무 성공률과 하위목표 성공률 등을 기준으로 각 방식의 작업 수행 능력을 비교했다.

원논문은 EMNLP 2026 Findings에 22쪽 분량으로 수록됐으며, 게재 면수는 317~338쪽이다. 저자는 최재우·오세훈·김의환이다. 최재우는 ETRI와 과학기술연합대학원대학교(UST), 오세훈과 김의환은 GIST 인공지능학과 소속이다.

다만 공개된 실험은 ProcTHOR·AI2-THOR와 VirtualHome 등 시뮬레이터를 중심으로 이뤄졌다. 따라서 이번 결과를 실제 생활공간의 물리 로봇 성능과 곧바로 같다고 보기는 어렵다. 연구진도 카메라와 센서가 제공하는 불완전한 관측을 처리할 수 있도록 실제 로봇 환경으로 확장하는 일을 후속 과제로 제시했다.

자료: 한국전자통신연구원(ETRI), 광주과학기술원(GIST), 과학기술연합대학원대학교(UST), Association for Computational Linguistics