역전파 없이 1,000층 신경망 학습…사카나 AI, PC-ALM 공개

인공지능(AI)이 틀린 답을 냈을 때 오류를 신경망 끝에서 처음까지 거꾸로 전달하지 않고도 1,000개 층을 학습시키는 방법이 제시됐다. 사카나 AI가 공개한 ‘PC-ALM’은 각 층이 이웃 층의 정보와 자신의 상태를 이용해 학습하는 방식이다. 특정 이미지 분류 실험에서 기존 역전파에 가까운 성능을 보였다.

딥러닝의 대표적인 학습법인 역전파(Backpropagation)는 입력을 여러 계산 층에 차례로 통과시킨 뒤, 최종 결과의 오류를 반대 방향으로 전달한다. 이를 바탕으로 각 연결의 영향력을 뜻하는 가중치를 조정한다. 신경망 전체가 순방향 계산, 역방향 계산, 가중치 조정을 정해진 순서에 맞춰 진행하는 구조다.

PC-ALM의 바탕인 예측 코딩(Predictive Coding·PC)은 각 층에서 예측한 값과 실제 값의 차이를 이용하는 학습 방식이다. 그러나 기존 방식은 출력 단계에서 생긴 학습 신호가 여러 층을 지나며 약해지는 문제가 있었다. 특히 층이 많으면서 각 층의 계산 단위 수가 적은, 깊고 좁은 신경망에서 역전파보다 성능이 떨어졌다.

연구진은 여기에 ‘증강 라그랑주 기법’을 결합했다. 핵심은 각 층의 예측 오차를 누적해 저장하는 별도의 값을 두는 것이다. 현재의 오차와 함께 이전부터 쌓인 오차 정보도 다음 계산에 반영해 보정하도록 했다. 각 층이 주변 정보만 사용하면서도, 최종 결과를 개선하려면 자신이 어느 방향으로 바뀌어야 하는지 알려주는 신호를 얻도록 설계했다.

연구진은 기존 예측 코딩에서 신호가 퍼지며 약해지는 현상을 ‘확산형’, PC-ALM에서 각 층으로 빠르게 전달되는 현상을 ‘탄도형’ 신호 전파로 설명했다. 이 표현은 신경망 내부에서 학습 신호가 전달되는 양상을 가리킨다. 각 층에 쌓아둔 오차 정보로 깊은 신경망의 학습을 돕는 것이 이번 접근의 핵심이다.

논문과 후속 소개 자료의 실험 범위는 구분할 필요가 있다. 사카나 AI 소속 Jeffrey Seely와 Julian Gould의 논문은 2026년 5월 29일 arXiv에 처음 등록됐다. 최초 공개본은 MNIST와 Fashion-MNIST 데이터에서 최대 128층을 다뤘으며, 전체 학습 데이터를 한 번 순회하는 1에포크 실험을 제시했다. 1,000층 및 ResNet-18 결과는 9월 발표로 표시된 공식 소개 페이지에서 별도로 공개됐다.

1,000층 실험에는 이미지 분류용 MNIST 데이터를 사용했다. 각 층의 계산 단위 수를 뜻하는 폭은 32로 설정했다. 이 신경망을 5에포크 학습한 결과, PC-ALM과 역전파의 성능 차이는 약 2%포인트 이내였다. 여기서 5에포크는 전체 학습 데이터를 다섯 번 순회했다는 뜻이다. 도표는 무작위 설정값을 달리한 세 실험의 평균과 범위를 제시했다.

공식 소개 자료는 이미지 분류 신경망인 ResNet-18을 이용한 CIFAR-10과 Tiny ImageNet 실험도 담았다. 이들 실험에서 PC-ALM은 기존 예측 코딩보다 나은 성능을 보였다. 다만 이 결과의 비교 대상은 기존 예측 코딩이다. 1,000층 실험에서 역전파와 보인 성능 차이를 다른 데이터나 신경망에도 그대로 적용할 수는 없다.

예측 코딩으로 역전파에 가까운 학습을 구현하려는 연구는 앞서 진행돼 왔다. 옥스퍼드대학교의 2017년 연구는 특정 조건에서 개별 연결의 국소적인 가중치 변화가 역전파의 변화에 수렴함을 보였다. PC-ALM은 이런 연구 흐름에서, 층이 깊어질수록 약해지는 학습 신호를 누적 오차로 보완하는 방법을 제시했다는 의미가 있다.

이론적 결과에도 조건이 붙는다. 논문은 수렴 증명을 선형이며 편향항이 없는 신경망으로 제한했다. 계산이 안정된 상태에 도달하면 각 층에 저장된 ‘라그랑주 승수’, 즉 오차 누적에 쓰이는 값이 역전파의 기울기 신호와 대응한다는 것이다. 기울기는 가중치를 어느 방향으로 바꿀지 알려주는 값이다. 반복 계산을 유한한 횟수에서 끝내면 안정된 상태에 도달하지 못해 역전파와 차이가 남을 수 있다.

PC-ALM은 현재 연구 단계에 있다. 공개된 코드는 연구용 구현이며, 지금까지 실험은 주로 이미지를 정해진 종류로 나누는 소규모 분류 문제에 집중됐다. 기존 예측 코딩보다 각 층의 계산 상태를 저장하는 메모리도 더 필요하다. 이번 결과는 국소적인 정보만으로 깊은 신경망을 학습할 가능성을 보여줬으며, 적용 범위를 판단하려면 실험 조건과 이론적 보장 범위를 함께 살펴야 한다.

자료: 사카나 AI, 옥스퍼드대학교, arXiv