[기획] 40분의 1초, 목소리를 되찾다

루게릭병으로 목소리를 잃은 마흔다섯 살 남성이 화면에 뜬 문장을 소리 내려 애쓰자, 스피커에서 그가 병에 걸리기 전 쓰던 목소리가 흘러나왔다. 신경 신호가 소리로 바뀌기까지 걸린 시간은 40분의 1초, 25밀리초였다. 사람이 말하면서 제 목소리를 되듣는 찰나의 지연과 거의 같은 간격이다.

미국 캘리포니아대 데이비스(UC 데이비스) 신경보철 연구진이 지난해 6월 국제학술지 네이처에 보고한 실험이다. 참가자는 침습형 뇌-컴퓨터 인터페이스(BCI·뇌에 심은 전극으로 신경 신호를 읽어 기계에 전달하는 장치) 임상시험 '브레인게이트2'에 등록된 환자다. 화면에 자막이 뜬 것이 아니라, 그가 곧바로 말을 했다는 점이 이 실험의 전부다.

문자메시지와 전화 통화의 차이

지금까지 말을 잃은 사람의 뇌를 읽는 인터페이스는 대개 뇌 신호를 글자로 옮겼다. 같은 연구진이 2024년 뉴잉글랜드 저널 오브 메디신에 보고한 문자 해독기는 당시까지 보고된 것 중 가장 정확한 음성 신경보철이었다. 좌측 중심전이랑(말할 때 입·혀·후두 근육에 명령을 내리는 대뇌 겉질 부위)에 심은 전극 256개로 12만5000 단어 어휘를 다루며, 수술 뒤 8.4개월 동안 248시간 넘는 자유 대화에서 97.5% 정확도를 유지했다.

그런데도 그것은 화면에 뜨는 글자였다. 말하는 속도는 분당 31.6단어로, 영어 일상 대화 속도(분당 약 160단어)의 5분의 1에 못 미쳤다. 문장이 완성돼야 소리가 났고, 억양이 없었으며, 무엇보다 말하는 사람 자신의 목소리가 아니었다. 연구책임자 세르게이 스타비스키 UC 데이비스 신경외과 조교수는 두 방식의 차이를 이렇게 갈랐다. "신경 활동을 문자로 옮기는 것은 문자메시지를 주고받는 일에 가깝다. 이번 실시간 음성 합성은 음성 통화 쪽에 가깝다."

기다리지 않고, 매 순간을 소리로

실시간이 어려웠던 이유는 기술의 정밀도가 아니라 타이밍에 있었다. 제1저자 마이트레이 와이라그카르 UC 데이비스 신경보철연구실 연구원은 "가장 큰 벽은 말을 잃은 사람이 언제, 어떻게 말하려 하는지를 정확히 알 수 없다는 점이었다"고 밝혔다. 단어가 완성되기를 기다렸다가 소리를 내면 대화의 흐름은 이미 지나가 있다.

연구진은 완성된 단어를 기다리는 대신, 뉴런의 발화 패턴과 참가자가 내려던 소리를 순간순간 짝지었다. 와이라그카르의 설명대로 "매 순간의 신경 활동을 의도한 소리에 대응시키는" 방식이다. 목소리 자체는 그가 병에 걸리기 전 남긴 녹음으로 빚었다. 글자를 거쳐 기계 음성으로 읽어 주는 경로를 버리고, 뇌에서 소리로 곧장 건너뛴 셈이다.

60%와 4% 사이

결과는 두 숫자 사이에 있다. 그의 말을 처음 듣는 사람들은 합성된 말의 약 60%를 알아들었다. 장치를 껐을 때 그의 남은 발성에서 알아들을 수 있는 말은 4%였다. 사전에 등록되지 않은 새 단어도, "아" "우" "음" 같은 추임새도 나왔다. 문장 끝을 올려 질문을 만들고, 특정 단어에 힘을 주고, 세 음정으로 짧은 가락을 흥얼거리기도 했다. 말의 내용만이 아니라 말투가, 사람을 사람으로 들리게 하는 층위가 신경 신호 안에 살아 있었다.

동시에 60%는 열 마디 중 네 마디를 놓친다는 뜻이기도 하다. 문자 해독기의 97.5%와는 거리가 멀다. 무엇보다 이 결과는 루게릭병을 앓는 단 한 사람에게서 나왔다. 연구진은 뇌졸중처럼 다른 원인으로 말을 잃은 이들을 포함해 더 많은 참가자에게서 재현돼야 한다고 못 박았다.

1년 뒤, 여섯 사람의 뇌를 겹쳐 놓다

그 한계는 이후 일부 좁혀졌다. UC 데이비스를 비롯한 브레인게이트2 참여 기관 연구진은 지난 7월 사전공개 논문 저장소 바이오아카이브에 참가자 여섯 명의 데이터를 한꺼번에 학습시킨 해독 모델을 올렸다. 참가자들은 루게릭병 또는 뇌간 뇌졸중으로 말을 잃은 사람들이다. 한 사람의 데이터로만 학습한 기존 모델과 견줘 실시간 사용에서 단어오류율이 평균 55.9% 줄었고, 새 참가자는 17분 분량의 보정 데이터만으로 대규모 어휘 해독이 가능했다.

다만 이 후속 연구가 내놓는 것은 소리가 아니라 문자다. 뇌에서 곧바로 목소리를 빚는 실시간 합성은 아직 한 사람의 사례로 남아 있다. 여러 사람의 뇌를 겹쳐 학습시키는 길과, 한 사람의 목소리를 실시간으로 복원하는 길이 아직 만나지 못한 상태다.

한국의 시계는 2027년에 움직인다

국내 상황은 출발선 앞에 있다. 과학기술정보통신부는 지난 3월 18일 '뇌 미래산업 국가 R&D 전략'을 내놓고 BCI를 국가 프로젝트로 올렸다. 사지마비 환자의 기계 제어, 치매·파킨슨병 치료, 시각 등 감각 복원, 인공 신체, 웨어러블 로봇, 초실감 가상현실, 방위산업 적용을 7대 임무로 잡았다. 뇌에 전극을 심는 침습형은 척수손상·시각장애 같은 난치질환의 임상 성과에, 머리 밖에서 신호를 읽는 비침습형은 웨어러블 상용화에 무게를 두는 두 갈래 방식이다.

과기정통부가 전략을 내놓으며 든 비교 대상은 미국과 중국이었다. 미국에서는 뉴럴링크가 뇌에 심은 칩으로 생각만으로 컴퓨터를 제어하는 임상시험에 성공했고, 중국은 침습형 BCI 의료기기의 시판을 승인해 상용화 속도를 올리고 있다는 것이다.

일정은 명확하다. 대규모 투자 프로젝트인 'K-문샷' 7대 씨앗(SEED) 과제에 BCI가 포함됐고, 사업단인 '브레인링크 이니셔티브'가 2027년 출범한다. 2029년까지 기술 실증을 마친 뒤 임상시험에 착수하고, 2035년 제품 상용화가 목표다. 미국 연구진이 참가자 여섯 명의 뇌 신호를 하나의 모델로 묶는 단계에 와 있는 사이, 한국은 2029년에야 실증을 끝내고 임상의 문을 두드린다는 뜻이다. 산·학·연·병원과 규제기관을 묶은 'BCI 얼라이언스'의 공동의장을 맡은 배경훈 부총리 겸 과기정통부 장관은 "정부는 현장의 의견을 경청하며 정책적·제도적 지원을 아끼지 않겠다"고 말했다.

권고는 이미 책상 위에 있다

기술 일정표보다 먼저 도착한 것은 규범이다. 유네스코는 지난해 11월 제43차 총회에서 「신경기술 윤리 권고」를 채택했다. 신경기술 전 주기를 다룬 첫 국제 규범 문서로, 회원국에 다음을 요구한다.

• 신경 데이터와, 정신 상태를 추론할 수 있는 간접·비신경 데이터를 민감 개인정보로 규율할 것(85항)
• 프라이버시·인권 영향 평가와 정기 모니터링을 맡을 독립적 감독 기관을 설치하거나 지정할 것(76항)
• 부작용 보고 체계를 포함한 신경기술 시술 국가 등록부를 검토할 것(109항)
• 이식형 장치의 상호운용을 위한 공통 보고 표준을 국제 협력으로 만들 것(112항)
• 자기 인식·행위 주체성 등에 미치는 장기 영향의 종단 연구를 지원할 것(115항)

국내 이행 과제는 유네스코한국위원회가 지난해 11월 펴낸 이슈 브리프에 정리돼 있다. 최경석 이화여대 법학전문대학원 교수는 이 글에서 신경기술이 교육·의료·산업에 걸쳐 쓰일 것이므로 교육부·과기정통부·보건복지부가 함께 운영하는 통합 감독 기구가 필요하다고 봤다. 대통령 소속 국가생명윤리심의위원회 산하에 두는 방안과 민간 기구를 두는 방안을 나란히 제시하면서, 사법 절차에서의 신경기술 사용에 대비해 개인정보보호법·생명윤리법·형사소송법의 정비도 함께 짚었다. 국내에는 과기정통부 재원의 연구과제로 국내 연구진이 만들어 2023년 학술지에 발표한 '한국 신경윤리 가이드라인'이 있지만 민간 차원의 지침이고, 법·제도 반영은 아직 과제로 남아 있다.

그 가이드라인에는 이번 성과와 곧장 맞닿는 조항이 있다. 의료 목적으로 신경기술을 쓸 때, 다른 선택지가 없는 절박한 환자에게 가해질 수 있는 해악을 따져 보지 않고 무분별하게 시도해서는 안 된다는 것이다. 상업적 사용에 대해서는 개발자와 제조사·판매자가 안전성과 효능을 과장해서는 안 되며, 과장된 주장에 대한 규제와 관리가 필요하다고 적었다. 40분의 1초가 돌려준 것은 대화의 속도만이 아니라 대화에 낄 자격이었다. 그 자격을 누구에게, 어떤 안전장치와 함께 줄지는 이제 기술이 아니라 제도가 정한다.

자료: 네이처, 뉴잉글랜드 저널 오브 메디신, UC 데이비스, 바이오아카이브, 과학기술정보통신부, 유네스코, 유네스코한국위원회