[기획] AI가 ‘보고 듣는’ 시대, 멀티모달 RAG의 도전

AI가 언어의 경계를 넘어 인간처럼 세상을 '보고' '듣는' 시대가 왔다. 기존 텍스트 중심의 생성형 AI에서 한 단계 진화한 '멀티모달 RAG(Multimodal Retrieval-Augmented Generation)'가 차세대 AI 기술로 급부상하고 있다. 업계에서는 이 기술이 AI의 인지 능력을 인간에 한층 더 가깝게 만들 혁신으로 주목받고 있다.

RAG, 언어모델의 지식 한계를 극복하는 돌파구

챗GPT와 같은, 대형 언어 모델(LLM)이 가져온 AI 혁명은 인상적이었지만 여전히 한계가 뚜렷했다. 학습 시점 이후의 정보를 알지 못하는 '지식 단절'과 훈련 데이터에 없는 특수 영역에 대한 취약점이 대표적이다. 이를 극복하기 위해 등장한 RAG 기술은 AI가 외부 지식베이스에서 정보를 실시간으로 검색해 활용하는 방식으로, AI의 '기억력'을 극적으로 확장시켰다.

하지만 인간의 인지 방식은 단순히 텍스트만으로 이루어지지 않는다. 우리는 보고, 듣고, 만지면서 세상을 이해한다. 멀티모달 RAG는 바로 이런 인간의 다중 감각적 인지 능력을 AI에 구현하려는 시도다.

텍스트를 넘어 시각·청각 데이터까지 이해하는 통합적 처리 기술

"AI가 단순히 텍스트만 이해하는 것은 한쪽 눈을 가린 채 세상을 보는 것과 같습니다. 멀티모달 RAG는 AI에게 다양한 감각을 부여하는 기술입니다." AI 연구소의 한 전문가는 이 기술의 중요성을 이렇게 설명한다.

멀티모달 RAG는 텍스트뿐만 아니라 이미지, 비디오, 오디오 등 다양한 형태의 데이터를 통합적으로 처리한다. 사용자가 이미지와 함께 질문을 던지면, AI는 이미지를 분석하고 관련 지식을 검색해 종합적인 답변을 제공한다.

이 기술의 핵심 구성 요소는 크게 네 단계로 나뉜다. 첫째, 다양한 형태의 입력 데이터를 벡터로 변환하는 '멀티모달 인코딩', 둘째, 텍스트·이미지·비디오 등 외부 자료에서 관련 정보를 검색하는 '멀티모달 검색', 셋째, 검색된 다양한 정보를 결합하는 '정보 통합', 마지막으로 LLM이 종합된 정보를 바탕으로 자연어 응답을 생성하는 '응답 생성' 단계다.

이러한 복합적 처리 능력은 기존 텍스트 기반 AI가 접근하기 어려웠던 영역에서 새로운 가능성을 열고 있다.

의료에서 쇼핑까지, 산업 전반에 불러오는 혁신적 응용 사례

멀티모달 RAG의 잠재력은 이미 다양한 산업에서 현실화되고 있다. 의료 분야에서는 환자의 X-ray나 MRI 이미지와 증상 설명을 함께 분석해 더욱 정확한 진단 가이드를 제공할 수 있다.

서울대병원에서 개발 중인 '한국형 의료 LLM'은 X-ray/MRI 이미지와 환자 증상 텍스트를 결합한 멀티모달 RAG 시스템을 활용하고 있다. 이 시스템은 영상 판독 시 PubMed의 관련 논문 및 진료 가이드라인을 실시간으로 검색해 의사에게 추천해준다. 2024년 테스트에서는 폐렴 진단 정확도 94%를 달성해 기존 단일 모달리티 시스템보다 정확도가 12% 향상된 성과를 보였다. 

카카오브레인도 흉부 엑스레이 판독 보조 AI '카라-CXR'을 개발해 GPT-4보다 21~30%포인트 높은 정확도를 입증했다. 국내 기업들은 이와 같은 기술을 활용해 의사들에게 참고 사례와 최신 논문을 실시간으로 제공하는 시스템을 계속 발전시키고 있다.

소매업에서는 고객이 마음에 드는 제품 사진을 찍어 올리면 유사한 상품을 찾아주고 상세 정보를 제공하는 서비스가 등장했다. 대표적으로 Alibaba Cloud의 'Qwen-VL' 시스템은 고객이 업로드한 제품 사진을 분석해 유사한 색상과 스타일의 상품을 추천한다. 이 기술은 "이 사진과 같은 디자인의 신발 찾아줘"와 같은 자연어 질문과 이미지 검색을 결합해, 멀티모달 LLM이 이미지를 텍스트로 변환한 후 임베딩을 생성하고 벡터 데이터베이스에서 유사 상품을 검색하는 방식으로 작동한다.

교육 분야에서는 Neurocomputing 연구팀이 개발한 멀티모달 RAG 프레임워크가 주목받고 있다. 이 시스템은 그래프나 도형이 포함된 수학 문제를 GPT-4o로 분석해 단계별 해설을 제공한다. 도형 이미지를 "삼각형 ABC의 밑변 5cm, 높이 3cm"와 같이 텍스트화한 뒤, 검색된 공식과 결합해 LLM이 정확한 풀이를 생성하는 방식이다. CLIP이나 GPT-4o의 시각 이해 능력을 활용하고, 소매업은 제품 카탈로그, 교육은 수학 문제집 데이터베이스를 벡터 저장소로 구축하는 등 도메인별 맞춤형 접근이 이뤄지고 있다.

MuRAG에서 MRAMG-Bench까지, 가속화되는 연구 동향과 기술적 도전 과제

멀티모달 RAG 분야의 연구는 최근 들어 급속도로 발전하고 있다. Wenhu Chen 연구팀이 개발한 MuRAG 모델은 텍스트와 이미지를 동시에 검색해 질의응답을 수행하는 구조로, 특히 시각 정보가 필요한 질문에서 놀라운 성능 향상을 보여줬다.

올해 2월 발표된 REAL-MM-RAG는 실제 시나리오 기반으로 멀티모달 검색 정확도를 평가하는 벤치마크를 제시해 이 분야의 표준화에 기여했다. MRAMG-Bench는 한 걸음 더 나아가 다양한 형태의 출력까지 평가할 수 있는 종합 벤치마크로서 연구자들에게 중요한 지표가 되고 있다.

그러나 이런 급속한 발전에도 불구하고 이 기술은 여전히 도전 과제에 직면해 있다. 특히 다른 형태의 데이터(텍스트와 이미지) 사이의 의미적 정렬 문제는 쉽게 해결되지 않는 난제다. 또한 다양한 모달리티에서 온 정보를 하나의 일관된 맥락으로 통합하는 과정은 고도의 알고리즘을 요구한다.

실시간성도 중요한 과제다. 특히 비디오와 같은 대용량 데이터를 처리할 때 검색과 생성이 지연 없이 이루어져야 하는데, 이는 상당한 컴퓨팅 자원을 필요로 한다.

인간의 감각을 닮아가는 AI... 차세대 인공지능의 미래 청사진?

이러한 도전 과제에도 불구하고 멀티모달 RAG는 인간의 다중 감각적 인지 능력을 AI에 구현하는 핵심 기술로서 생성형 AI의 다음 진화 단계를 이끌 것으로 전망된다.

"인간의 뇌는 다양한 감각 정보를 종합해 세상을 이해합니다. 멀티모달 RAG는 AI가 인간의 이러한 복합적 인지 방식에 한 걸음 더 가까워지는 기술입니다." AI 연구 분야의 전문가는 이 기술의 미래에 대해 낙관적인 전망을 내놓는다.

앞으로 멀티모달 RAG는 단순히 다양한 형태의 데이터를 처리하는 수준을 넘어, 인간과 같은 직관적 판단과 상황 인식 능력을 갖춘 AI 시스템으로 발전할 것으로 예상된다. 이는 단순한 기술적 진보를 넘어 AI가 인간과 더욱 자연스럽게 상호작용하는 시대로의 전환을 의미한다.

AI 기술이 텍스트라는 한계를 넘어 인간의 다양한 감각을 종합적으로 처리하는 방향으로 발전함에 따라, 멀티모달 RAG는 차세대 AI 혁신의 핵심 기술로 자리잡을 전망이다.

심사 기준은 한국이 먼저 냈다…세계 첫 생성형 AI 의료기기 가이드라인

기술 경쟁의 다음 관문은 병원 문턱, 곧 인허가다. 여기서는 한국 규제당국이 앞서 움직였다. 식품의약품안전처는 2025년 1월 대형 언어모델을 쓴 의료기기를 어떤 기준으로 검증해 허가할지 정한 '생성형 인공지능 의료기기 허가·심사 가이드라인'을 세계 최초로 내놨다. 유효성 평가 방법과 허가신청서 작성 요령을 안내해 제품화를 돕겠다는 취지로, 이 틀 위에서 2026년 4월 국내 첫 생성형 AI 기반 의료기기 허가가 나왔다. 올해 1월 22일부터는 AI 기본법이 시행돼 생성형 AI를 쓴 서비스라는 사실을 이용자에게 알릴 의무도 생겼다. 앞서 본 의료 영상 판독 같은 멀티모달 AI가 연구실을 나와 제품이 되려면 반드시 지나야 하는 관문들이다.

WHO의 40여 개 권고…'자동화 편향'까지 검증 대상이다

국제 보건당국의 진단도 이미 나와 있다. 세계보건기구(WHO)는 2024년 1월 텍스트·이미지·영상을 함께 다루는 대형 멀티모달 모델(LMM)에 관한 윤리·거버넌스 지침을 내고 40개가 넘는 권고를 제시했다. 부정확하거나 편향된 답이 의료 판단을 해칠 위험과 함께, 의료진이 기계 판단을 과신해 그대로 따르는 '자동화 편향', 환자 정보를 노리는 보안 위협을 핵심 위험으로 꼽았다. 각국 정부에는 의료 AI를 평가할 규제기관 지정과 독립적인 제3자 감사 의무화·결과 공개를, 개발자에게는 설계 초기부터 환자·의료진을 참여시키고 용도를 분명히 정한 개발을 권고했다.

검증 가능성이라는 잣대로 보면, 답과 함께 근거 문서를 내놓는 멀티모달 RAG 구조는 속을 알 수 없는 블랙박스형 모델보다 감사 요구에 대응할 접점이 있다. 다만 그것은 지식베이스에 담긴 근거 자체가 믿을 만할 때 이야기다. 의미 정렬과 실시간성에 이어, 어떤 자료를 넣고 걸러낼지 관리하는 일이 이 기술의 세 번째 과제로 남는 셈이다.