[기획] 말하려는 시도와 손짓하려는 시도, 뇌 신호 하나로 함께 읽는다
대화 중에 우리는 말만 하지 않는다. 손을 흔들어 인사하고, 엄지를 치켜세워 동의를 표하고, 몸짓으로 말에 리듬을 얹는다. 말과 몸짓은 따로 노는 두 가지 행동이 아니라 한 대화를 이루는 짝이다. 그런데 마비 환자를 위한 뇌-컴퓨터 인터페이스(BCI, 뇌에서 나오는 전기 신호를 읽어 기계나 화면을 대신 움직이게 하는 장치)는 지금까지 이 둘을 따로 다뤄왔다. 말을 복원하는 장치와 몸짓을 복원하는 장치가 각각 있었고, 두 가지를 동시에 시도하면 정확도가 떨어지는 문제가 있었다. 미국 캘리포니아대 샌프란시스코(UCSF) 신경외과 에드워드 창(Edward Chang) 교수팀이 이 문제를 풀었다. 뇌에 이식한 전극판 하나로 마비 환자가 '말하려는 시도'와 '손짓하려는 시도'를 동시에 읽어내, 화면 속 전신 가상 아바타가 말하면서 동시에 몸짓을 하도록 만드는 데 성공했다고 밝혔다.
말과 몸짓, 왜 따로 놀았나
이 연구는 같은 연구팀이 2023년 발표한 연구의 후속이다. 당시엔 음성과 얼굴 표정만 해독해 아바타를 움직였는데, 이번엔 상체 제스처와 전신 표현이 새로 더해졌다. 문제는 단순히 '몸짓 복원 기능을 하나 더 붙이는 것'이 아니었다. 사람이 말과 몸짓을 동시에 하려고 시도하면, 기존 방식으로는 정확도가 크게 떨어졌다. 연구팀은 그 이유를 확인하는 과정에서 예상 밖의 사실을 발견했다.
뇌는 두 신호를 섞지 않고, 아예 새로 만든다
연구팀은 참가자가 말을 시도할 때, 손짓(손 흔들기·엄지척 등)을 시도할 때, 그리고 둘을 동시에 시도할 때 각각의 뇌 신호로 머신러닝 디코더(뇌 신호를 말과 동작으로 번역하는 소프트웨어)를 학습시켰다. 그 결과 말과 제스처를 동시에 수행할 때의 뇌 신호는 말 신호와 몸짓 신호를 단순히 더한 것이 아니라, 질적으로 다른 새로운 패턴이라는 사실이 드러났다. 커피에 우유를 부으면 '커피+우유'가 아니라 '카페라떼'라는 별개의 음료가 되는 것과 비슷하다. 그래서 동시 수행 데이터로 학습시킨 디코더가, 말과 몸짓을 따로따로 학습시킨 디코더보다 오히려 더 정확했다. 창 교수는 '대화는 말해지는 단어 이상의 것이다. 이는 운동피질 전체가 관여하는 다층적이고 역동적인 과정'이라고 밝혔다.
253개 전극판이 하는 일
이 시스템은 두개골을 열어 뇌 속에 바늘을 찔러 넣는 방식이 아니다. 감각운동피질(sensorimotor cortex, 몸을 움직이려는 의도와 실제 움직임에 관여하는 대뇌 겉질 부위) 표면에, 보도에 따르면 253개의 전극이 배열된 것으로 전해지는 얇은 전극판(ECoG)을 얹는 방식이다. 참가자는 중증 마비 환자 3명으로, 근위축성측삭경화증(ALS) 환자 1명과 뇌간 뇌졸중 환자 2명이 포함됐다. 이 중 2명이 실제로 전신 아바타를 통해 말과 동작을 동시에 표현하는 데 성공했다. 정확도는 보도에 따라 다소 차이가 있었지만, 가장 근거가 뚜렷한 수치는 '75~100%' 범위였다. 환자가 사용할 수 있는 문구와 제스처의 수는 환자별로 수개에서 십여 개 수준이었다고 전해진다. 연구에는 미국 국립보건원(NIH) 산하 연구소의 자금이 투입됐다. 환자가 실제로 입이나 손을 움직이지 않고 '움직이려는 시도'만 해도, 화면 속 아바타는 손을 흔들며 인사말을 동시에 전했다.
아직은 맛보기, 다음은 무선화
연구팀 스스로도 이 연구가 참가자 3명뿐인 초기 개념증명(proof-of-concept) 단계라고 밝혔다. 테스트한 어휘와 제스처 종류도 제한적이었다. 현재는 이식된 전극을 외부 처리 장치에 유선으로 연결하는 방식이어서 일상적으로 쓰기엔 제약이 있다. 일부 보도에서는 이번 시스템의 음성 해독 정확도 자체가, 말만 전담하는 기존 단일 기능 BCI들의 성능보다 낮았다는 지적도 나왔다 — 말과 몸짓을 함께 처리하는 대신 음성 단독 성능에서는 트레이드오프가 있을 수 있다는 뜻이다. 연구팀은 향후 유선을 없앤 완전 이식형 무선 버전을 시험할 계획이라고 밝혔다. 이 연구에 참여하지 않은 해외 신경과학자들은 '마비 환자의 기능을 회복시키는 자연스러운 시스템 개발을 향한 중요한 한 걸음'이라거나 '신경보철기가 일상에서 쓰일 수 있다는 희망을 준다'고 평가했다. 이 결과를 정면으로 반박하는 의견은 아직 확인되지 않았다. NIH 관계자는 '이 유망한 결과는 미래에 중증 마비 환자들이 인간 의사소통의 전체적 특성을 되찾을 수 있다는 희망을 준다'고 밝혔다. 이번 연구와 같은 기술, 즉 말과 몸짓을 동시에 해독해 전신 아바타로 표현하는 국내 연구는 확인되지 않았다.
자료: 캘리포니아대 샌프란시스코(UCSF), 미국 국립보건원(NIH) 산하 국립청각·기타의사소통장애연구소(NIDCD), 네이처 뉴로사이언스(Nature Neuroscience)