역전파를 버린 신경망이 우리에게 남긴 숙제

사카나 AI가 내놓은 PC-ALM 소식에서 필자의 눈길을 끈 대목은 '1,000층'이라는 규모보다, 딥러닝을 30년 넘게 떠받쳐온 역전파(backpropagation·오차를 출력층에서 입력층 방향으로 거꾸로 전달해 각 층의 가중치를 고치는 학습 방식)라는 전제 자체를 건드렸다는 점이다. 이웃 층의 정보와 자기 자신의 상태만으로 학습이 된다는 것은, 신경망 학습의 '표준 문법'에 예외가 있을 수 있다는 뜻이기 때문이다.

역전파는 왜 계속 도전받아 왔나

역전파는 성능은 뛰어나지만 오래전부터 두 가지 불편함을 안고 있었다. 하나는 전체 네트워크의 활성값(각 층이 계산한 중간 결과값)을 순전파 내내 메모리에 쌓아뒀다가 역순으로 되짚어야 해서 층이 깊어질수록 메모리 부담이 급격히 커진다는 점이고, 다른 하나는 오차 신호가 맨 끝에서부터 순서대로 전달돼야 해 층별 계산을 동시에 병렬로 돌리기 어렵다는 점이다. 여기에 뇌 신경세포가 실제로 이런 방식의 오차 역전달을 할 것 같지는 않다는 신경과학계의 오랜 지적도 있었다. 그래서 힌튼의 포워드-포워드 알고리즘, 목표전파(target propagation), 그리고 뇌의 예측 오차 처리 방식에서 이름을 딴 예측코딩(predictive coding) 계열 연구가 꾸준히 이어져 왔다. PC-ALM은 이 계보의 연장선에 있는 시도로 읽힌다.

기대와 함께 남는 물음표

1,000층 규모에서 역전파와 2%포인트 안팎의 성능 차이를 보였다는 결과는, 국지적 학습 방식이 더는 '장난감 실험' 수준이 아니라는 신호로 볼 만하다. 층별로 독립적인 계산이 가능해지면 분산·병렬 학습의 판이 달라질 여지도 있다. 다만 이론적 보장 조건이 아직 명확히 정리되지 않았고, 연구팀 스스로도 메모리 부담을 함께 살펴야 한다고 밝힌 점은 가볍게 넘길 대목이 아니다. 국지적 학습이 메모리를 아낄 것이라는 통념과 달리, 각 층이 자체 상태를 유지해야 하는 구조는 오히려 다른 종류의 비용을 요구할 수 있다. 필자는 이 기술을 당장의 대체재가 아니라, 역전파가 '유일한 정답'은 아니라는 것을 보여주는 실험적 이정표로 보는 편이 맞다고 생각한다. 국내 AI 연구·산업계도 특정 학습 알고리즘에 인프라와 노하우를 전부 걸기보다, 이런 대안 학습 방식의 발전 속도를 함께 지켜보며 유연성을 남겨두는 태도가 필요하다.