토큰을 버리는 실험, 한국어 AI의 비용 구조를 다시 묻다

이번 연구에서 필자의 눈에 먼저 들어온 것은 작은 모델의 성능 순위가 아니다. 우리가 언어모델의 당연한 입구로 여겨온 ‘토큰’이 정말 최선인가라는 질문이다. Meta FAIR와 워싱턴대 연구진은 큰 언어모델의 지식을 256개 바이트를 다루는 작은 모델로 옮기는 방법을 분석했고, 연산량이 적을 때는 토큰 모델이 앞서지만 학습량을 늘리면 바이트 모델이 더 높은 성능에 이를 가능성을 제시했다. 이는 모델을 축소하는 기술을 넘어, AI가 글자를 읽는 기본 단위를 다시 설계하자는 문제 제기라고 본다.

토큰은 중립적인 단위가 아니다

현재 언어모델은 대개 문장을 단어보다 작은 토큰으로 쪼갠다. 토큰은 자주 등장하는 글자 묶음에 일종의 지름길을 내주는 방식이다. 영어처럼 학습 자료가 풍부한 언어에는 효율적이지만, 언어와 문자 체계에 따라 같은 뜻도 더 많은 조각으로 나뉠 수 있다. 이 차이는 입력 길이와 연산 비용, 드문 표현을 처리하는 능력에까지 영향을 준다. 반면 바이트는 컴퓨터가 문자를 저장하는 공통 단위다. 256개의 값만으로 여러 언어와 기호를 표현할 수 있어 고정된 어휘표에 덜 의존한다.

물론 바이트 방식에도 대가가 있다. 한 토큰으로 처리하던 표현을 여러 바이트로 읽으면 문장이 길어지고 계산 단계가 늘어난다. 그래서 초기 바이트 모델은 개념적으로 단순해도 실제 효율에서 불리했다. 최근에는 예측하기 쉬운 구간을 묶고 어려운 구간에 계산을 더 쓰는 등 이 약점을 줄이려는 연구가 이어지고 있다. 이번 결과는 그 흐름에 지식 증류, 즉 큰 교사가 작은 학생에게 답의 분포를 가르치는 방법을 결합했다는 점에서 의미가 있다.

가능성과 입증을 구분해야 한다

다만 ‘학습을 늘리면 추월한다’는 스케일링 법칙은 관측된 추세를 바탕으로 미래 성능을 가늠하는 경험식이지, 모든 규모와 과제에서의 승리를 보증하는 증명은 아니다. 훈련에 드는 총전력, 실제 응답 속도, 긴 문맥에서의 메모리 사용량, 한국어 생성 품질까지 함께 재야 한다. 평균 점수가 좋아도 맞춤법 변형이나 전문용어, 코드와 한글이 섞인 문장에서 흔들린다면 산업적 가치는 제한된다.

그럼에도 국내 연구계와 기업은 이 방향을 주변 실험으로만 보아서는 안 된다. 한국어 중심 평가셋을 마련하고 토큰 수가 아니라 전체 비용과 지연시간을 기준으로 비교해야 한다. 방언·신조어·특허 문장처럼 기존 어휘표의 빈틈이 드러나는 자료도 포함해야 한다. 바이트 모델의 진짜 가치는 거대 모델을 조금 더 작게 복제하는 데 있지 않다. 언어마다 다르게 부과되던 AI의 입장료를 낮출 수 있는가에 있다. 그 질문에 한국어 데이터로 답하는 일이 이제 우리의 몫이라고 본다.