재즈 무대에 들어온 AI…사람 연주 듣고 실시간으로 화답했다

미리 만든 음악을 틀어주는 데 그치지 않고, 사람의 연주를 들은 인공지능(AI)이 재즈 무대에서 곧바로 화답했다. 연주자의 속도와 리듬, 표현이 달라지면 AI도 그 흐름에 맞춰 연주를 이어받거나 즉흥 반주를 만들어내는 인간-AI 협연이 실제 관객 앞에서 펼쳐졌다.

한국과학기술원(KAIST)은 문화기술대학원 남주한 교수 연구팀이 2026년 10월 9일부터 11일까지 열린 제23회 자라섬재즈페스티벌에서 실시간 음악 협업 기술을 시연했다고 16일 밝혔다. 공연은 자라섬 중도에 마련된 유료 관람 무대인 ‘재즈 AI 라운지’에서 진행됐다.

이번에 소개된 ‘재즈 인공지능 아티스트’의 핵심은 사람과 기계가 같은 시간의 흐름 안에서 음악을 함께 만든다는 점이다. 정해진 곡을 그대로 재생하는 시스템이라면 사람이 어떤 방식으로 연주하더라도 출력은 달라지지 않는다. 반면 실시간 협연에서는 AI가 현재 들리는 소리를 받아들이고, 연주가 어디까지 진행됐는지와 음표·리듬의 변화를 해석한 뒤 적절한 시점에 응답해야 한다. 재즈에서 자주 나타나는 즉흥적인 변화까지 따라가려면 듣기와 판단, 연주가 짧은 시간 안에 이어져야 한다.

연구팀이 앞서 발표한 기술은 이러한 연구의 성능 맥락을 보여준다. 2024년 공개한 실시간 피아노 자동채보 연구에서 경량 모델은 기존 1,970만 개였던 매개변수를 270만 개로 86% 줄였다. 매개변수는 AI가 학습 과정에서 조정하는 내부 값으로, 일반적으로 수가 줄면 계산 부담을 낮추는 데 도움이 된다. 모델을 가볍게 만들면서도 음이 시작되는 순간을 얼마나 정확히 찾는지 나타내는 F1 점수의 감소는 1.5%포인트로 억제됐다.

이 연구에서는 입력된 소리를 처리하는 지연시간을 160~320밀리초로 줄인 조건에서도 성능 저하가 작았다. 160밀리초는 0.16초, 320밀리초는 0.32초다. 공연 도중 연주 흐름을 빠르게 알아차려야 하는 실시간 음악 기술에서 처리 지연과 인식 성능을 함께 살펴볼 수 있는 결과다. 다만 이 2024년 기술이 이번 재즈 무대에 그대로 적용됐다고 확인된 것은 아니다.

KAIST 연구진은 재즈 무대 이전에도 사람이 내는 소리를 듣고 반응하는 협연 방식을 여러 차례 시험했다. 국제음악정보검색학회 공식 공연 기록에 따르면 2023년 소프라노 조수미와의 공연에서는 자동 표현연주와 노래 진행에 따른 반주 시점 조절, 가사 추적, 가상 연주자 시각화를 하나의 시스템으로 운용했다.

2025년 공개한 ‘Dialogue in Resonance’에서는 마이크로 받은 피아노 소리를 실시간으로 MIDI 음표로 바꾼 뒤 이를 지연하거나 반복·변형해 자동연주 피아노가 응답하도록 구성했다. MIDI는 실제 음향 자체가 아니라 어떤 음을 언제, 얼마나 세게 연주하는지와 같은 연주 정보를 디지털 신호로 표현하는 방식이다. 이 구성은 사람이 친 피아노 소리를 기계가 해석하고 다시 연주로 답하는 과정을 보여줬다.

더 앞선 2022년 ‘Fantastic AI Sinawi’ 공연에서는 순서가 있는 데이터를 다루는 GRU 언어모델이 시나위풍 선율을 만들고, 인간 해금 연주자가 이에 맞춰 즉흥 합주했다. 이번 재즈 공연은 완성된 음원을 재생하거나 곡 전체를 한꺼번에 생성하는 접근보다 ‘기계가 듣고, 연주 위치와 음표를 해석하고, 실시간으로 응답하는’ 상호작용 연구의 연장선으로 이해할 수 있다. AI가 인간 연주자를 대신하는 장면보다는 서로의 소리를 주고받으며 음악의 다음 순간을 함께 구성하는 방식에 초점이 맞춰졌다.

자료: 한국과학기술원(KAIST), 자라섬재즈페스티벌·자라섬청소년재즈센터, 국제음악정보검색학회(ISMIR)