KT-서울대-카이스트, AI 에이전트 추론·프롬프트 압축 공동연구

AI가 사용자의 말뿐 아니라 주변 상황까지 살피고, 긴 지시문은 가볍게 줄여 답을 만드는 부담을 낮추는 연구가 산업 현장 적용 단계로 향한다. KT는 서울대학교, 카이스트와 약 1년간 자율형 AI 에이전트, 책임있는 AI(RAI), 프롬프트 압축을 공동 연구하고 확보한 기술의 검증과 내재화를 추진한다고 30일 밝혔다.

KT는 서울 서초구 KT우면연구센터에서 산학 공동연구 최종 성과 워크숍을 열었다. KT와 두 대학 연구진 50여 명은 연구 결과를 공유하고 이를 KT의 AI 모델과 플랫폼, 서비스에 적용하는 방안을 논의했다.

공동연구는 2025년 9월 시작됐다. KT는 연구에 필요한 그래픽처리장치(GPU)와 자체 AI 모델, 데이터를 제공했다. 연구 결과를 자체 모델 ‘믿:음 K 2.0’과 자율형 에이전트에 반영해 공공·법률·금융·교육·의료 분야로 확장한다는 구상도 제시했다.

서울대학교와는 자율형 에이전트의 상황 맥락 이해와 추론 기술을 집중적으로 연구했다. 자율형 에이전트는 사용자의 요청과 주변 상황을 함께 파악해 적절한 행동을 판단하는 AI다. 연구진은 한국적 데이터셋 확보와 행동 예측 모델 개발, 사용자 피드백을 이용한 강화학습 체계도 다뤘다.

책임있는 AI 연구에서는 AI의 신뢰성을 평가하고 개선하기 위한 기준을 살폈다. 단순히 답을 생성하는 능력만 높이는 것이 아니라 실제 서비스에서 결과를 믿고 활용할 수 있는지를 함께 점검하려는 접근이다.

카이스트와의 연구 주제는 대규모언어모델(LLM)의 프롬프트 압축과 최적화였다. 프롬프트는 이용자가 AI에 입력하는 질문이나 지시문이다. 이 가운데 중요도가 낮은 토큰을 덜어내 입력 처리량을 줄이는 것이 핵심이다. 토큰은 AI가 문장을 나눠 읽고 계산하는 단위다.

선행 기술인 Microsoft Research의 LLMLingua는 2023년 발표한 연구에서 제한적인 성능 손실과 함께 최대 20배 압축 결과를 보고했다. 다만 압축률이 그대로 서비스 속도 향상을 뜻하는 것은 아니다. TU Dresden과 ScaDS.AI Dresden/Leipzig가 3만 건 이상 실험한 2026년 연구에서는 종단간 속도가 최대 18% 개선되고 GPU 메모리가 최대 75% 감소했다. 이득은 대체로 입력이 5천 토큰을 넘고 모델과 하드웨어 조합이 적합할 때 나타났다.

이 수치는 KT와 카이스트가 개발한 기술의 성능을 나타내는 것은 아니다. 이번 기술도 압축률만 볼 것이 아니라 압축에 걸리는 시간과 정확도, 메모리 사용량, 이용자가 실제로 체감하는 서비스 지연시간을 함께 검증해야 한다. KT는 연구 결과를 곧바로 상용화했다고 밝히기보다 자사 모델과 플랫폼에 적용하기 위한 검증과 내재화를 추진한다는 계획을 내놨다.

2026년 3월 열린 중간 워크숍에는 약 100명이 참석했다. 당시 KT는 회사 전체를 기준으로 최근 5년간 AI 논문 148건을 발표했고, 이 가운데 49건이 주요 국제 학술대회에 등재됐다고 밝혔다. 이는 이번 서울대학교·카이스트 공동연구만의 실적은 아니다.

KT는 후속 과제로 에이전틱 AI와 책임있는 AI, 피지컬 AI, 토큰 효율화 연구를 넓힐 방침이다. 서울대학교는 대학의 연구 역량을 산업 현장의 기술 과제와 연결한 점에 의미를 뒀고, 카이스트는 모델 성능뿐 아니라 실제 환경의 효율성과 활용 가능성이 중요하다고 설명했다. KT는 연구 성과를 AI 서비스 경쟁력으로 연결하는 산학협력 모델을 이어가겠다고 밝혔다.

자료: KT, 서울대학교, 카이스트, Microsoft Research, TU Dresden·ScaDS.AI Dresden/Leipzig