256개 바이트로 토큰 장벽 넘는다…메타, 소형 언어모델 확장 가능성 제시

수만 개의 단어 조각을 미리 정해 두지 않고도 인공지능 언어모델의 성능을 높일 수 있다는 연구 결과가 나왔다. Meta FAIR와 워싱턴대 연구진은 256가지 원시 바이트 값을 직접 읽는 소형 모델이 충분한 학습과 연산을 거치면 기존 토큰 기반 모델보다 높은 성능에 도달할 가능성을 제시했다.

언어모델은 보통 문장을 ‘토큰’이라는 작은 단위로 나눈 뒤 처리한다. 토큰은 단어 전체일 수도 있고 단어의 일부나 문장부호일 수도 있다. 토크나이저는 입력된 글을 이런 조각으로 바꾸는 도구다. 기존 모델은 수만∼수십만 개의 하위단어를 어휘로 갖지만, 바이트 모델은 컴퓨터가 문자를 저장하는 기본 단위인 바이트를 중심으로 글을 읽는다.

연구진이 비교한 토큰 모델의 어휘 크기는 12만8천256개였다. 일반 바이트 모델은 256개 바이트와 특수기호 4개를 합친 260개를 사용했고, ‘End-Of-Token’ 모델은 종료기호를 하나 더해 261개를 사용했다. 거대한 단어 조각 사전 대신 훨씬 작은 기본 단위로 언어를 다루는 셈이다.

연구진은 Llama 3-8B를 지식을 가르치는 교사 모델로 삼았다. 학생 모델로는 매개변수 18억1천만 개의 토큰 모델과 12억8천만 개의 바이트 모델을 비교했으며, 학습량은 약 1조 바이트까지 늘렸다. 지식 증류는 큰 모델이 계산한 답의 확률을 작은 모델이 배우게 하는 방법이다. 단순히 정답만 외우는 것이 아니라 큰 모델이 어떤 답을 얼마나 가능성 있게 봤는지도 전달한다.

토큰 교사의 지식을 그대로 저장하는 데에는 큰 부담이 따른다. 연구진의 계산에 따르면 Llama 3-8B가 내놓는 12만8천256개 로짓을 2조 토큰에 걸쳐 32비트 부동소수점으로 모두 저장하려면 약 1.026엑사바이트가 필요하다. 로짓은 모델이 각 후보를 얼마나 그럴듯하게 보는지 나타내는 점수다.

연구진은 이 문제를 줄이기 위해 ‘Marginalize-It’ 방법을 제시했다. 교사 모델을 한 번 추론해 얻은 토큰 확률을 바이트 확률로 근사 변환하는 방식이다. End-Of-Token 방식은 별도의 종료기호를 추가해 토큰이 끝나는 지점을 표시하고 확률 질량을 정확하게 보존하도록 설계됐다.

평가는 ARC-Easy와 ARC-Challenge, HellaSwag, PIQA, MBPP, Natural Questions, FLORES 양방향 번역을 포함한 8개 과제로 진행됐다. 연산량이 적은 구간에서는 토큰 모델이 앞섰다. 그러나 학습량을 늘리자 토큰 모델의 성능은 더 일찍 정체됐고, 바이트 모델은 더 가파르게 개선되는 흐름을 보였다.

스케일링 법칙으로 장기 성능을 예측한 결과, End-Of-Token 증류 모델의 6개 질의응답·생성 과제 평균 점근 정확도는 52.4%였다. 토큰 증류 모델은 48.4%, Llama 3.2-1B는 45.9%, Gemma 3-1B-pt는 44.3%, Gemma 2B는 50.3%로 예측됐다. 이 수치는 실험에서 직접 기록한 최고점이 아니라 학습 규모와 성능의 관계를 바탕으로 한 점근적 예측이다.

이번 연구는 새로운 바이트 구조 자체보다 토큰 교사의 지식을 작은 바이트 모델로 옮길 때 연산량과 데이터, 저장량이 어떻게 변하는지를 집중적으로 분석했다. 앞서 Meta의 2024년 Byte Latent Transformer 연구는 바이트를 정보량에 따라 가변 길이 묶음으로 처리해 최대 80억 매개변수와 4조 학습 바이트 규모에서 토큰 모델에 맞먹을 가능성을 제시했다. 이후 공개된 80억 매개변수 모델은 교란된 HellaSwag에서 평균 7%포인트, CUTE의 일부 토큰 이해 과제에서 최대 55%포인트 높은 강건성을 보였다.

자료: Meta FAIR, University of Washington, arXiv