[기획] 뉴런의 ‘가지돌기’에서 AI 기억 구조를 다시 설계했더니 5천만 토큰에서 정보를 찾았다

자료사진: HE 염색한 신경조직의 광학현미경 사진으로, 녹색 화살표가 뉴런의 가지돌기를 가리킨다. 해당 연구·행사의 현장 사진은 아닙니다.

셰익스피어 전집 약 40질을 한 줄로 길게 늘어놓고, 그 안에 숨겨 둔 쪽지 하나를 찾아낸다면 어떨까. 중국과학원 자동화연구소 중심 연구진이 개발한 인공지능 모델은 이와 비슷한 시험에서 5천만 토큰 길이의 입력 속 특정 정보를 회수했다. 토큰은 인공지능이 글을 읽을 때 나누는 기본 단위다. 다만 전집 40질은 논문 저자가 제시한 비유이며, 판본과 언어, 글을 토큰으로 나누는 방식에 따라 환산 결과는 달라진다. 더 중요한 단서도 있다. 숨은 쪽지를 찾았다고 해서 전집 전체의 의미를 이해하고 비평했다는 뜻은 아니다.

연구진은 이 구조에 SparseLA(Sparse Linear Attention·희소 선형 어텐션)라는 이름을 붙였다. 생물학적 뉴런에서 여러 가지가 신호를 나눠 처리하는 ‘가지돌기’에 착안해, 새로운 토큰이 들어올 때마다 인공지능의 기억 전체를 고치지 않고 입력과 관련된 일부 기억 성분만 선택해 갱신하도록 설계했다. 이 연구를 담은 논문 「Dendritic computation bridges neuroscience and foundation models」는 2026년 10월 15일 온라인 공개됐다.

서랍장 전체 대신 필요한 서랍만 연다

긴 문서를 다루는 인공지능에는 기억을 어떻게 읽고 쓸 것인지가 핵심 문제다. 일반적인 자기어텐션은 문서 속 단어들이 서로 어떤 관계를 맺는지 폭넓게 계산한다. 관계를 촘촘히 살필 수 있지만 입력이 길어질수록 계산과 메모리 부담이 커진다. SparseLA는 서랍장 전체를 매번 꺼내 정리하는 대신, 현재 입력과 관련된 기억 서랍만 골라 내용을 갱신하는 방식에 가깝다. 연구진이 ‘희소 쓰기’를 도입한 이유다. 여기서 희소하다는 말은 모든 기억에 동시에 쓰지 않고 선택된 일부에만 쓴다는 뜻이다.

아이디어의 출발점은 가지돌기다. 모든 입력을 한곳에 모아 더하는 교과서식 ‘점 뉴런’을 전구 하나에 비유한다면, 가지돌기는 여러 가지가 각각 작은 계산과 상태 저장을 담당하는 미니 프로세서 묶음에 가깝다. 연구진은 가지돌기의 구획별 계산을 단순화하고, 이를 선형 어텐션과 선형 순환신경망, 상태공간모델의 상태 갱신과 수학적으로 연결했다. 상태공간모델은 이전 입력에서 만든 내부 상태를 다음 입력 처리에 이어 쓰는 구조다.

그러나 SparseLA가 실제 신경세포를 디지털로 복제한 것은 아니다. 실제 가지돌기에 존재하는 이온 채널과 막전위의 복잡한 비선형성, 나트륨·칼슘·NMDA 스파이크, 나무처럼 뻗은 형태와 국소 가소성은 생략되거나 크게 단순화됐다. 실제 나무 구조를 그대로 계산하면 그래픽처리장치에서 불규칙한 희소 연산이 발생해 느려질 수 있어, 구현은 대각·블록대각 상태전이와 구조화된 희소성처럼 하드웨어가 처리하기 쉬운 형태로 제한됐다. 정확히는 ‘뇌처럼 작동하는 AI’가 아니라 가지돌기의 선택적·국소적 처리에서 공학적 아이디어를 얻은 계산 구조다.

400만 토큰까지 훈련하고 5천만 토큰에서 검색했다

연구진이 장문맥 시험에 사용한 SparseLA-H는 총 600억 개의 매개변수를 가진 대형 모델이다. 다만 MoE(Mixture of Experts·전문가 혼합) 구조를 적용해 토큰 하나를 처리할 때는 90억 개가 활성화된다. 모든 부서를 매번 동원하지 않고 필요한 전문가 그룹만 호출하는 셈이다. 각 층에는 32개의 전문가가 있고 그중 둘을 선택하는 top-2 라우팅을 사용했다.

이 모델은 순수한 선형 어텐션 모델도 아니다. 전체 48개 블록에 SparseLA와 일반 자기어텐션을 함께 넣었으며, 매 8번째 블록에 일반 자기어텐션을 배치했다. SparseLA가 긴 입력을 효율적으로 누적하는 역할을 맡더라도, 주기적으로 들어간 자기어텐션은 초장문에서 다시 계산량과 메모리의 병목이 될 수 있다. 모델의 헤드는 64개, 헤드 차원은 128, 은닉 차원은 3072로 구성됐다.

최대 훈련 문맥은 400만 토큰이었다. 연구진은 훈련을 마친 모델을 그보다 12.5배 긴 5천만 토큰 입력에 투입했다. 시험은 NIAH(needle-in-a-haystack·건초더미 속 바늘 찾기)였다. 매우 긴 방해 텍스트 사이에 특정 정보를 숨긴 뒤 이를 다시 찾아낼 수 있는지 보는 합성 검색 과제다. 모델은 5천만 토큰 길이까지 정보를 회수했다고 보고했다. 이는 훈련 때 경험한 길이를 넘어선 외삽 능력을 보여준 결과다.

하지만 이 숫자를 ‘5천만 토큰을 이해했다’고 바꾸면 의미가 달라진다. NIAH는 숨은 정보의 위치를 찾아 꺼내는 능력을 살피지만, 여러 문서의 상충하는 주장들을 판별하거나 흩어진 증거를 결합해 결론을 내리고, 전체 내용을 요약하는 능력까지 입증하지는 않는다. 5천만 토큰은 모델이 시험에서 받은 최대 입력 길이이지, 모든 과제에서 안정적으로 활용할 수 있다고 보장된 문맥 길이도 아니다.

‘들어간다’와 ‘이해한다’ 사이의 거리

복합적인 장문 능력을 평가하는 RULER에서는 이 차이가 드러났다. SparseLA-H의 평균 점수는 12만8000토큰에서 80.2%였지만 100만 토큰에서는 71.0%로 낮아졌다. NIAH와 RULER는 목적과 입력 길이가 다른 시험이므로 두 결과를 하나의 성능표처럼 직접 섞어서는 안 된다. 다만 문맥 창에 많은 정보를 넣을 수 있는 능력과 그 정보를 과제 전반에서 고르게 활용하는 능력이 같지 않다는 점은 보여준다.

학습 자료에도 현실적인 한계가 있다. 400만 토큰 규모의 자연 문서는 드물어 장문맥 훈련에는 합성 데이터와 여러 자료를 묶은 패킹 데이터가 사용됐다. 따라서 실제 법률 기록이나 연구문헌, 기업 문서를 같은 길이에서 일관되게 이해한다고 단정할 수 없다. 모델도 총 600억 매개변수 규모이며 다중 그래픽처리장치용 최적화를 사용했다. 이번 결과는 개인용 컴퓨터나 스마트폰에서 5천만 토큰을 저비용으로 처리할 수 있다는 증거가 아니다.

가지돌기라는 해석 자체에도 논쟁이 남아 있다. 공개 동료심사에서는 선형화한 모델이 실제 가지돌기의 핵심 성질을 충분히 반영하지 못했고, 기존 선형 토큰 믹서나 입력 게이팅 구조와의 차별성이 약하다는 비판이 나왔다. 비교 기준과 결과 제시 방식이 제안 모델에 유리하게 선택됐다는 지적도 있었다. 반면 수정 뒤 우려가 해소됐다고 평가한 심사자도 있었다. 논문이 동료심사를 통과했다는 사실과 가지돌기에 관한 해석이 학계의 합의가 됐다는 주장은 구분해야 한다.

초장문 AI의 답은 ‘선택적으로 기억하기’일까

공식 저장소에는 언어모델 비교와 장문맥 학습·추론, Triton 커널, vLLM 통합을 비롯해 정적 영상과 뉴로모픽 음성·영상, 연상회상 관련 코드가 공개됐다. 라이선스는 Apache 2.0이다. 그러나 2026년 10월 22일 현재 외부 연구진이 5천만 토큰 결과를 독립적으로 재현했다는 보고는 확인되지 않았고, 최대 규모 모델의 전체 가중치 공개도 확인되지 않았다. 코드가 공개됐다는 것과 최대 성능이 독립적으로 재현됐다는 것은 별개다.

5천만 토큰 기록 자체도 세계 최초라고 부를 수 없다. 2024년 ARMT 연구가 BABILong의 단일 사실 질의에서 5천만 토큰 결과를 보고했다. 다만 ARMT와 SparseLA-H는 모델의 규모와 구조, 시험 조건이 달라 점수를 직접 비교할 수 없다. 장문 모델의 우열을 판단하려면 매개변수 규모와 토큰당 활성 규모, 학습 데이터, 후처리, 하드웨어 같은 조건을 함께 살펴야 한다.

이번 연구의 의의는 인간 기억의 원리를 풀었거나 뇌와 같은 인공지능을 완성했다는 데 있지 않다. 제한된 기억 상태를 매번 전부 다시 쓰는 대신, 입력에 따라 필요한 부분만 선택적으로 갱신하면 훈련 범위를 훌쩍 넘는 초장문에서도 특정 정보를 회수할 수 있다는 설계 방향을 제시한 데 있다. 다음 질문은 더 어렵다. 이 구조가 실제 문서에서도 비용 우위를 유지하는지, 수많은 정보가 충돌하고 연결되는 상황에서도 긴 문맥을 제대로 활용하는지, 다른 연구진이 같은 결과를 재현할 수 있는지 확인해야 한다. 5천만 토큰이라는 숫자는 결승선보다 출발선에 가깝다.

자료: 중국과학원 자동화연구소, 칭화대학교, BICLab, Springer Nature