경상국립대, LLM 판단 실행 전 검증하는 뉴로-심볼릭 AI로 드론 음성제어 성공률 93.8%

사람이 말로 드론에게 명령하면 인공지능(AI)이 알아듣고 움직이는 기술은 이미 여러 곳에서 시도되고 있다. 문제는 AI가 잘못 알아들었을 때다. 말로 하는 명령을 처리하는 대규모언어모델(LLM, 사람이 쓰는 자연어 문장을 이해하고 답을 만들어내는 AI)은 자연스러워 보이는 답을 내놓지만, 그 답이 실제로 드론이 안전하게 실행할 수 있는 내용인지는 보장하지 않는다. 경상국립대(총장 권진회) 컴퓨터공학부 부석준 교수 연구팀은 이 문제를 풀기 위해 LLM의 판단을 드론 등 물리 시스템에서 실행하기 전에 전문가 지식으로 미리 검증하는 '뉴로-심볼릭 AI(Neuro-symbolic AI)' 기술을 개발하고, 실제 드론 비행 실험에서 93.8%의 실행 성공률을 확인했다고 23일 밝혔다.

뉴로-심볼릭 AI는 신경망을 기반으로 한 확률적 추론과, 규칙에 따라 딱 맞아떨어지게 판단하는 결정론적 검증을 함께 쓰는 방식을 말한다. 쉽게 말해 유연하지만 실수할 수도 있는 AI의 판단을, 정해진 규칙을 지키는 전문가의 점검으로 한 번 더 걸러내는 구조다. 최근에는 AI의 판단이 로봇이나 드론, 자율주행차처럼 실제 몸(물리 시스템)을 움직이는 행동으로 곧바로 이어지는 '피지컬 AI(Physical AI)' 기술이 주목받고 있는데, 이런 분야일수록 AI가 내놓은 판단을 실행에 옮기기 전 안전성과 논리적 정합성을 검증하는 절차가 중요한 과제로 다뤄지고 있다.

연구팀이 제안한 방법론에서 LLM은 먼저 사람이 말로 내린 명령을 해석한 뒤, 어떤 행동을 어떤 순서로 실행할지가 구조화된 '실행 그래프(Execution Graph)'로 바꾼다. 이어 항공 무인체계 분야 전문가의 지식과 명시적인 규칙을 이용해 실행 순서가 맞는지, 드론의 비행 상태와 어긋나지 않는지, 행동끼리 서로 충돌하지 않는지를 실행에 앞서 점검한다. 확률에 기반한 AI의 추론과, 정해진 규칙에 따라 옳고 그름을 가리는 전문가 검증을 분리함으로써 드론 같은 물리 시스템의 실행 신뢰성을 높이는 구조다. 공동 교신저자인 김진철 항공우주전문가협동조합 이사장은 한국항공우주연구원 부원장 등을 지낸 항공우주 분야 전문가로, 실제 드론 운용에 필요한 전문가 지식을 구축하고 검증하는 데 참여했다.

연구팀은 12종의 LLM을 비교해 자연어 명령을 이해하는 정확도가 최대 95.4%, 이를 실행 그래프로 구조화하는 정확도가 최대 89.6%에 이른다는 것을 확인했다. 또 7가지 오류 유형이 섞인 비정상 실행 그래프 2100개를 모두 걸러냈고, 정상적인 그래프 1000개에 대해서는 잘못 거부하는 오탐이 한 건도 없었다고 밝혔다. 실제 실내에서 드론을 띄운 실험에서는 검증을 통과한 80개 명령 가운데 75개가 정상적으로 수행돼 93.8%의 물리적 실행 성공률을 보였다.

연구팀은 이번 기술이 앞으로 로봇, 자율시스템, 제조설비 등 AI의 판단이 물리적 행동으로 이어지는 다양한 분야에 적용될 수 있을 것으로 기대했다. 교신저자인 부석준 교수는 AI가 뛰어난 자연어 이해와 추론 능력을 갖추고 있더라도 실제 물리 시스템의 행동으로 연결될 때는 별도의 신뢰성 검증이 필요하다며, 이번 연구는 LLM의 유연한 추론 능력과 전문가의 명시적 지식을 결합한 구조를 실제 드론에서 검증했다는 데 의미가 있다고 말했다. 김진철 이사장은 항공 무인체계에서는 AI의 판단 성능뿐 아니라 실제 시스템에서 실행 가능한지를 사전에 검증하는 과정이 중요하다고 말했다. 제1저자인 최석훈 석사과정생은 AI가 생성한 판단을 실제 물리 시스템에서 어떻게 신뢰성 있게 검증하고 실행할 것인가를 핵심 연구 문제로 삼았다며, 앞으로 다양한 물리 환경과 복합적인 의사결정 문제로 연구를 확장하고 싶다고 밝혔다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원의 AI최고급신진연구자지원(AI스타펠로우십지원) 사업, 2026년도 경상국립대 글로컬대학30 사업비(GNU AX실증기반연구센터)의 지원을 받아 수행됐다.

자료: 경상국립대