KAIST, 뇌파로 'AI 오해' 잡아내는 기술 개발

사람이 말이나 몸짓으로 일러주지 않아도 AI가 사람의 뇌 반응만으로 자기 행동이 어긋났음을 알아채는 기술이 나왔다. KAIST는 뇌인지과학과 이상완 석좌교수(신경과학-인공지능 융합연구센터장) 연구팀이 마이크로소프트연구소 아시아와 국제 공동연구를 통해 차세대 뇌-컴퓨터 인터페이스(BCI) 기술인 '신경 가치 정렬(Neural Value Alignment, NVA)'을 개발했다고 9월 10일 밝혔다.

지금까지 AI는 사람의 말과 행동, 몸짓처럼 밖으로 드러난 정보로 의도를 추정해 왔다. 문제는 같은 행동이라도 목적이 다를 수 있다는 점이다. 사람이 컵을 집어도 직접 물을 마시려는 것인지 다른 사람에게 건네려는 것인지 행동만으로는 구별하기 어렵다. 연구팀은 이를 '목표-행동 모호성'으로 정리했다.

'목표가 틀렸다'와 '방법이 틀렸다'를 나눠 읽다

연구팀은 사람이 예상과 다른 상황을 만났을 때 뇌에서 무의식적으로 발생하는 '예측 오차'에 주목했다. AI가 잘못된 행동을 했을 때 사람이 순간적으로 느끼는 '이게 아닌데'라는 뇌의 반응을 신호로 쓴 것이다.

특히 이 반응을 두 종류로 구분했다. AI가 사람의 궁극적인 목표 자체를 잘못 이해했을 때 나타나는 보상 예측 오차(RPE)와, 목표는 맞지만 행동 과정이나 방식이 예상과 다를 때 나타나는 상태 예측 오차(SPE)다.

연구팀은 AI가 작업하는 모습을 지켜보는 사람의 실시간 뇌파(EEG·머리 표면에서 재는 뇌의 전기 신호)를 측정해, 두 경우에 뇌가 서로 다른 신호를 보낸다는 점을 확인했다. 두 오류가 동시에 일어날 때 나타나는 뇌파 패턴도 찾아냈다. 여기에 딥러닝을 적용해, 사람이 직접 "틀렸다"고 말하지 않아도 뇌파만으로 '목표가 틀렸다'와 '방법이 틀렸다'를 구분하는 기술을 만들었다.

AI가 스스로 목표를 다시 찾는다

읽어낸 뇌 신호는 AI에 실시간으로 전달된다. AI는 상태 예측 오차가 감지되면 목표는 맞지만 방법이 잘못됐다고 판단해 행동 방식을 바꾸고, 보상 예측 오차가 나타나면 목표 자체를 잘못 이해했다고 판단해 사람이 실제로 원하는 것을 다시 찾는다. 시뮬레이션에서는 사람의 목표가 갑자기 바뀌거나 일부 신호가 빠지는 불확실한 상황에서도 기존 방식보다 빠르게 의도 변화에 적응했다.

이상완 교수는 "이번 연구는 인공지능이 눈에 보이는 행동 결과만으로 인간의 의도를 추정하던 기존 방식에서 벗어나, 행동 이면에서 발생하는 뇌의 인지 신호를 AI와의 협업에 직접 활용할 수 있음을 보여줬다는 데 의미가 있다"고 말했다. 연구팀은 가정·산업 현장의 로봇, 자율주행차, 말을 하거나 몸을 움직이기 어려운 환자의 의료·재활 로봇 제어, 학습자의 인지 상태에 맞춘 교육 등으로 확장할 수 있다고 설명했다.

연구에는 KAIST 뇌인지과학과 박사과정 서흔(Xin Xu) 학생이 제1저자로, 마이크로소프트연구소 아시아의 얀센 왕·동치 한·동쉔 리 박사 등이 공동 연구진으로 참여했다. 결과는 국제 학술지 'IEEE 트랜잭션스 온 사이버네틱스'에 2026년 8월 온라인 게재됐다. 연구는 과학기술정보통신부 정보통신기획평가원의 디지털분야글로벌연구지원사업 지원을 받았다.

자료: KAIST