AI끼리 글 대신 ‘계산 기억’ 주고받는다…MIT 연구진, SwaT 공개

서로 다른 인공지능(AI) 모델이 긴 설명문을 주고받지 않고도 앞선 모델의 ‘계산 기억’을 이어받는 기술이 나왔다. 여러 AI가 역할을 나눠 일할 때 반복되는 읽기와 요약을 줄일 가능성을 보여준다는 점에서 주목된다.

MIT 컴퓨터과학·인공지능연구소와 MIT-IBM 왓슨 AI 연구소 연구진은 ‘스웜 텔레파시(SwaT)’라는 모델 간 정보 전달 기술을 개발했다. 연구 결과는 2026년 10월 10일 제출된 arXiv 사전논문 ‘모델 계열 간 프리필 없는 KV 캐시 전송’에 담겼다.

기존 멀티에이전트 시스템에서는 한 모델이 처리 결과를 글로 요약하면 다른 모델이 그 글을 처음부터 읽고 맥락을 파악한다. 이 과정에서 요약에 빠진 정보가 사라질 수 있고, 문장을 만들고 다시 읽는 데 추가 연산도 든다. SwaT는 글 대신 ‘KV 캐시’를 넘겨 이런 단계를 줄인다.

KV 캐시는 AI가 입력을 읽는 ‘프리필’ 단계에서 각 층이 계산한 키와 값을 저장한 내부 상태다. 쉽게 말해 이미 읽은 내용을 다시 계산하지 않도록 남겨 두는 작업 메모에 가깝다. SwaT는 송신 모델의 KV 캐시를 수신 모델이 이해할 수 있는 형태로 번역한다. 두 모델 자체는 고정하고 약 3억개 매개변수로 구성된 중간 변환기만 학습한다.

연구진은 서로 다른 토크나이저와 내부 구조를 연결하면서 ‘어텐션 매칭’으로 캐시를 통신 예산에 맞게 압축했다. 변환기는 영어 데이터 4400만 고유 토큰으로 5000스텝 학습됐으며, 논문 도식에 제시된 학습량은 6 GPU시간 미만이다.

실험에는 라마, 큐원, 젬마, 그래나이트, 미니스트랄, 스몰LM 등 6개 모델 계열의 3B~32B 규모 모델 12개가 사용됐다. 연구진은 10개 송신·수신 조합과 17개 벤치마크를 평가했다. 다만 텍스트 요약 방식과의 직접 비교는 3개 모델 조합, 7개 벤치마크, 5개 압축 예산에서 이뤄졌다. 이 범위에서 SwaT는 텍스트 요약보다 평균 정확도가 40% 높았고 전체 처리 시간은 평균 4배 짧았다.

수신 모델이 원문을 다시 읽는 방식과 비교한 별도 연산 실험에서도 차이가 나타났다. 64~6만4000토큰 구간에서 두 모델 조합의 SwaT 지연시간은 각각 약 6.1~12.3배, 10.2~20.2배 짧았다. 수신 모델이 프리필을 반복하지 않은 결과다.

언어 지식 전달 실험에서는 중국어 성능이 강한 Qwen 3 4B의 캐시를 Llama 3 8B에 넘겼다. CMMLU 67개 과목 평균 점수는 Qwen이 69.7%, 기존 Llama가 51.2%였으며, SwaT로 캐시를 받은 Llama는 65.1%를 기록했다.

이미지를 분석할 수 있는 젬마의 내부 상태를 텍스트 전용 모델에 전달하는 실험에서도 이미지 설명문만 넘겼을 때보다 질문 응답이 정확해졌다. 그러나 세밀한 시각 처리가 필요한 두 데이터셋에서는 원래 비전 모델이 SwaT나 텍스트 전달보다 훨씬 정확했다. 이를 완전한 시각 능력 이전으로 보기는 어렵다는 뜻이다.

현재는 송신·수신 모델 조합마다 변환기를 따로 학습해야 한다. 참여 모델이 늘면 구축과 관리가 복잡해지고, 캐시를 반복해 전달하거나 여러 메시지를 합칠 때 정보가 손상될 가능성도 해결해야 한다. 연구진은 여러 모델이 함께 쓰는 공유 잠재 공간을 후속 방향으로 제시했다.

안전 문제도 남아 있다. KV 캐시에는 겉으로 드러난 문장보다 많은 정보가 담길 수 있어 텍스트 기반 감시만으로는 전달 내용을 충분히 확인하기 어렵다. 연구진은 효과적인 캐시 전송을 유지하면서 감사와 모니터링이 가능한 방법이 필요하다고 밝혔다. 활용 후보로는 멀티에이전트 작업 인계, 대화 도중 모델 교체, 질의를 읽은 라우터가 선택한 모델에 상태를 넘기는 방식이 제시됐다.

자료: MIT Computer Science and Artificial Intelligence Laboratory, MIT-IBM Watson AI Lab, arXiv