말 잘하는 AI보다 멈출 줄 아는 AI가 먼저다

생성형 AI가 드론을 움직이는 시대에 가장 중요한 능력은 명령을 그럴듯하게 이해하는 솜씨가 아니라, 위험한 판단을 실행 직전에 멈추는 능력이라고 본다. 경상국립대 연구팀이 대규모언어모델의 판단을 전문가 지식으로 사전 검증하는 뉴로-심볼릭 AI를 개발하고 실제 드론 비행에서 93.8%의 실행 성공률을 확인했다는 결과가 반가운 이유도 여기에 있다. 언어모델을 더 큰 두뇌로 만드는 경쟁에서 한 걸음 물러나, 그 두뇌에 제동장치를 달았다는 점이 더 눈에 띈다.

확률로 말하는 AI와 물리 세계의 간극

대규모언어모델은 다음에 올 말이나 행동을 확률적으로 고른다. 자연스러운 대화에는 강하지만, 틀린 판단도 자신 있게 내놓을 수 있다. 화면 속 답변이라면 사람이 수정할 여지가 있지만 드론·로봇·차량처럼 판단이 곧 움직임이 되는 시스템에서는 한 번의 오류가 충돌이나 설비 손상으로 이어질 수 있다. 그래서 산업용 제어 분야에서는 오래전부터 비상정지, 동작 범위 제한, 조건별 인터록처럼 특정 조건에서 기계를 멈추는 안전장치를 별도로 두어 왔다.

뉴로-심볼릭 AI는 이런 전통을 인공지능에 잇는 접근이다. 뉴럴 AI가 사람의 말을 유연하게 해석한다면, 심볼릭 영역은 전문가가 정한 규칙과 지식을 이용해 그 판단이 허용되는지를 따져본다. 쉽게 말해 언어모델이 조종 요청서를 작성하고, 규칙 기반의 관제사가 실행 도장을 찍는 구조다. 필자는 이 역할 분리가 물리 AI의 상용화를 앞당길 핵심 원칙이라고 본다. 말을 알아듣는 인터페이스와 실제 기계를 움직일 권한을 한 모델에 모두 맡겨서는 안 된다.

성공률보다 먼저 공개해야 할 것

다만 93.8%라는 숫자만으로 안전성을 말하기에는 이르다. 어떤 음성 명령과 비행 환경에서 측정했는지, 소음·모호한 표현·예상 밖 장애물에서도 검증이 작동하는지, 규칙에 없는 상황에서는 안전하게 중단하는지를 함께 살펴야 한다. 실행 성공과 안전한 실패는 다른 지표다. 명령을 수행하지 못했더라도 위험을 감지해 멈췄다면 안전 시스템으로서는 의미 있는 결과일 수 있다.

앞으로 필요한 것은 성공률 경쟁만이 아니다. 검증 규칙의 누락을 찾는 시험, 판단과 차단 과정을 남기는 기록, 사람이 즉시 개입할 수 있는 통제권, 사고 시 책임 경계를 함께 설계해야 한다. 대학의 실증은 이 기준을 만드는 출발점이 돼야 한다. 우리는 AI가 무엇을 할 수 있는지만 묻지 말고, 무엇을 해서는 안 되는지 누가 정하고 어떻게 증명할지도 물어야 한다. 물리 세계의 지능은 영리함보다 절제가 먼저다.