[기획] 생쥐가 실제로 본 영상을, 시각피질 신경신호만으로 10초 분량 복원했다 — UCL·eLife 연구
쥐의 머릿속에 몰래카메라가 들어있는 것은 아니다. 그런데 영국 연구진이 생쥐가 실제로 눈으로 본 10초짜리 동영상을, 오직 뇌 속 신경세포 약 8000개가 깜빡이는 활동 신호만 보고 다시 그려내는 데 성공했다. 유니버시티 칼리지 런던(UCL) 세인즈베리 웰컴 센터와 임페리얼 칼리지 런던 공동연구팀이 내놓은 이 결과는 학술지 eLife에 실렸다.
왜 지금까지 안 됐나
뇌가 시각 정보를 어떻게 담아내는지 알아내려는 시도는 오래됐다. 2011년 미국 연구팀이 기능적자기공명영상(fMRI)으로 사람이 본 영화 예고편을 복원한 사례가 대표적이다. 그러나 fMRI는 개별 신경세포가 아니라 수백만 개 뉴런의 혈류 변화를 뭉뚱그려 보는 기술이어서, 이번 연구와는 해상도의 원리 자체가 다르다. 동물을 대상으로 개별 신경세포 활동을 기록해 복원을 시도한 선행 연구들도 있었지만, 움직이는 동영상이 아니라 정지된 이미지를 복원하는 데 그쳤다. 움직이는 장면을, 그것도 단일세포 단위의 정밀도로 복원한 사례는 이번이 처음이라고 연구팀은 밝혔다.
회색 화면에서 시작해 한 픽셀씩 고쳐 그리다
연구팀은 생쥐 5마리가 초당 30프레임짜리 자연 동영상을 보는 동안, 2광자(two-photon) 칼슘 이미징이라는 기법으로 시각피질(V1) 뉴런 약 8000개의 활동을 동시에 기록했다. 신경세포가 활성화될 때 함께 빛나는 형광 표지 단백질(GCaMP6s)의 원리를 이용해, 살아있는 생쥐 뇌 속 신경세포들의 반응을 실시간으로 들여다본 것이다.
이렇게 모은 데이터로 '어떤 동영상을 보여주면 신경세포들이 어떻게 반응하는지'를 예측하는 동적 신경 인코딩 모델을 학습시켰다. 이 모델은 2023년 국제 대회 'Sensorium'에서 발표된 딥러닝 구조를 연구팀이 새로 학습시켜 쓴 것이다. 영상을 복원하는 절차는 거꾸로 진행됐다. 아무 정보도 없는 균일한 회색 화면에서 출발해, 이 화면을 모델에 넣었을 때 예측되는 신경 반응이 실제로 기록된 신경 반응과 점점 비슷해지도록 화면을 한 픽셀씩 반복해서 고쳐나가는 방식이다. 목격자의 진술만 듣고 몽타주를 계속 다시 그리는 화가에 비유할 수 있다. 이 과정에는 신경 신호뿐 아니라 생쥐의 동공 크기·위치, 달리는 속도 같은 행동 데이터도 함께 입력됐다.
복원이 단순 암기가 아니라는 것을 보이기 위해, 학습에 쓰지 않은 새로운 동영상으로도 같은 절차를 반복했다. 그 결과 원본 영상의 대략적인 구조와 움직임이 재현됐다.
정확도는 어느 정도인가
연구팀은 복원한 영상과 실제 원본 영상을 픽셀 단위로 비교해 상관계수 0.57을 얻었다. 완전히 무관한 두 영상의 상관계수가 0에 가깝고 완벽히 일치하면 1이라는 점을 감안하면, 절반을 넘긴 수준이다. 2020년 발표된 선행 연구는 정지 이미지 복원에서 상관계수 0.24를 보고한 바 있다. 다만 연구팀은 두 수치를 나란히 놓고 단순 비교하는 것은 근본적으로 문제가 있다고 스스로 밝혔다. 정지 이미지와 동영상은 데이터의 종류, 훈련 방식, 평가 방식이 모두 달라 직접 비교가 어렵기 때문이다.
한계도 뚜렷하다. 복원된 영상의 공간 해상도는 픽셀당 3.4도 수준으로, 생쥐가 실제로 구분할 수 있는 시각 민감도보다 약 3배 거칠다. 고화질로 찍힌 장면을 저화질 디코더로 복원해 보여주는 셈이어서, 미세한 무늬 같은 세밀한 정보는 복원에 실패했다. 또 기록에 사용한 뇌 영역은 가로세로 630마이크로미터 남짓으로, 생쥐 1차 시각피질 전체의 5분의 1 정도에 불과했다. 신경세포 수와 복원 성능의 관계를 따로 분석한 결과, 뉴런의 절반을 컴퓨터상에서 제거하면 성능이 약 9.96% 떨어졌고 75%를 제거하면 약 24.9% 떨어졌다.
무엇을 보여준 것이고, 무엇은 아닌가
eLife는 이 연구에 중요도 '유용함(Valuable)', 근거 강도 '설득력 있음(Convincing)' 등급을 매겼다. 이론적 돌파구로 꼽히는 최상위 등급은 아니라는 뜻이다. 공개된 동료심사 과정에서도 기술적으로는 탄탄하지만 개념적으로 새로운 진전은 없다거나, 기존 방법들을 조합한 것일 뿐 독창적 요소가 부족하다는 지적이 나왔다. 신경세포 수를 여덟 배 늘렸는데도 정확도 개선폭이 크지 않은 이유가 충분히 설명되지 않았다는 점, 복원 영상에 매끄러워야 할 부분까지 잡음이 남아있다는 점도 심사 과정에서 거론됐다.
연구팀 스스로도 이 기술의 의미를 신중하게 짚었다. 복원된 영상이 정확히 눈에 들어온 원본 그대로인지, 아니면 생쥐의 뇌가 이미 나름대로 처리하고 걸러낸 결과물인지는 이번 연구만으로 구분할 수 없다고 밝혔다. 모델이 예측한 반응과 실제 신경 반응이 다를 때, 그것이 모델의 부정확함 때문인지 아니면 생쥐 뇌가 실제로 눈에 보이는 것과 다르게 정보를 표상하고 있어서인지 알 수 없다는 것이다. 연구팀은 우리 머릿속에 세상이 완벽하게 담겨 있는 것은 아니라는 취지로 이 결과를 설명했다.
이 기술이 복원하는 것은 어디까지나 지금 눈으로 보고 있는 화면이다. 꿈이나 기억처럼 머릿속에서 떠올리는 심상까지 읽어내는 이른바 마인드 리딩과는 다르다는 점도 짚어둘 필요가 있다. 연구팀은 앞으로 해상도를 끌어올리는 것을 다음 과제로 남겨뒀다.
자료: 유니버시티 칼리지 런던(UCL) 세인즈베리 웰컴 센터, 임페리얼 칼리지 런던, 학술지 eLife