KAIST, 재학습 없이 AI '환각' 줄이는 기술 개발

인공지능(AI)에게 영상과 소리를 함께 보여주면, 어느 쪽 정보가 중요한지 헷갈려 존재하지 않는 내용을 그럴듯하게 지어내는 경우가 있다. 이런 AI의 '환각(할루시네이션, AI가 실제로는 없는 사실을 마치 있는 것처럼 답하는 현상)'을 모델을 다시 학습시키지 않고도 줄이는 기술을 국내 연구진이 개발했다.

KAIST(총장 배충식)는 노용만 전기및전자공학부 교수 연구팀이 텍스트와 이미지, 소리 등 여러 형태의 정보를 함께 이해하는 AI인 멀티모달 대형언어모델(MLLM)의 '감각 혼선'을 줄이는 핵심 기술을 개발했다고 밝혔다. 감각 혼선은 AI가 서로 다른 형태의 정보를 한꺼번에 처리하는 과정에서 어떤 정보에 더 무게를 둬야 할지 판단하지 못해, 실제로는 없는 내용을 만들어내는 원인 중 하나로 꼽힌다.

중요한 정보만 골라 답하게 하다

연구팀이 개발한 '감각 혼선 방지 기술(MAD)'은 AI가 질문에 답하기 전 영상과 소리 가운데 어떤 정보가 더 중요한지 스스로 판단하도록 설계됐다. 기존에 학습이 끝난 모델에도 다시 훈련시키는 과정 없이 바로 적용할 수 있어, 대규모 컴퓨팅 자원과 시간을 들이지 않고도 환각 현상을 줄일 수 있다는 게 연구팀의 설명이다.

열화상·엑스레이도 있는 그대로 읽는다

연구팀은 이와 함께 열화상이나 깊이 영상, 엑스레이처럼 일반 카메라와는 다른 방식으로 정보를 담는 센서의 물리적 의미를 AI가 이해하도록 하는 '센서 이해 AI 최적화 기술(DNA)'도 개발했다. 이 기술을 적용한 모델은 열화상·깊이·엑스레이 등 특수 센서가 담은 영상의 물리적 특성을 정확히 인지해 답할 수 있는 것으로 나타났다. 어둠이나 연기 속에서도 AI가 사물을 더 정확하게 인식할 수 있는 만큼, 자율주행차의 야간·안개 속 보행자 인식이나 화재 현장에 투입되는 구조로봇, 열화상 드론, CT·MRI·엑스레이 보안검색 등 의료·보안 영상 분석 분야에 활용될 수 있다.

MAD 기술은 지난 6월 국제 컴퓨터비전 및 패턴인식 학술대회(CVPR)에서 발표됐으며, DNA 기술은 국제학술지 'IEEE 트랜잭션스 온 이미지 프로세싱'에 게재됐다.

자료: KAIST