얼굴만 나온 영상도 3D 아바타로…촬영 범위에 맞춰 계산 줄였다
얼굴만 찍힌 영상과 전신이 담긴 영상을 하나의 인공지능 기술로 처리해, 촬영 범위에 맞는 3차원 아바타를 만드는 길이 열렸다. 영상에 보이지 않는 팔다리까지 무리하게 계산하지 않고 실제로 관찰된 부위에 집중해 외형을 복원하는 방식이다.
울산과학기술원(UNIST) 인공지능대학원 백승렬 교수팀은 영국 애버딘대학교 연구진 등과 함께 얼굴·상반신·전신 영상에 모두 적용할 수 있는 아바타 제작 기술 ‘플렉시아바타’를 개발했다고 밝혔다. 3차원 아바타는 실제 사람의 얼굴과 몸을 본떠 가상공간에 구현한 인물이다. 제작된 아바타에 새로운 자세나 동작을 입히면 원본 영상 속 인물과 다른 움직임도 표현할 수 있다.
기존 3차원 가우시안 아바타 기술은 학습 영상에 전신이 나타난다고 가정하는 경우가 많았다. 3차원 가우시안 스플래팅은 사람의 외형을 수많은 작은 3차원 요소로 표현해 영상을 빠르게 그리는 기술이다. 그러나 얼굴이나 상반신만 촬영된 영상에서도 보이지 않는 팔다리까지 함께 계산하면, 근거가 없는 허상 구조나 질감 오류가 실제로 관찰된 부위에까지 영향을 줄 수 있었다. 얼굴 전용과 상반신 전용 방식을 따로 쓰면 촬영 범위가 달라질 때마다 별도의 제작 절차가 필요했다.
플렉시아바타는 신체·얼굴·손의 형태와 움직임을 함께 표현하는 인체 모델 ‘SMPL-X’와 실시간 화면 생성에 적합한 3차원 가우시안 스플래팅을 결합했다. 단안 영상, 즉 카메라 한 대로 촬영한 영상 하나를 입력받아 전신·상반신·얼굴 중심 아바타를 하나의 통합 절차로 처리한다.
핵심은 영상에서 실제로 관찰된 부분을 가려내는 과정이다. 시스템은 처음 2,000회 반복 학습 동안 전체 3차원 요소를 안정화한다. 이후 각 요소가 영상 프레임에 얼마나 자주 나타났는지 계산하고, 오쓰 자동 임계값을 이용해 관찰 근거가 부족한 요소를 학습과 화면 생성에서 제외한다. 오쓰 임계값은 데이터의 분포를 분석해 두 집단을 나누는 기준을 자동으로 정하는 방법이다. 사람이 촬영 범위마다 경계를 직접 지정하지 않아도 되는 셈이다.
연구진은 전신용 NeuMan·ZJU-MoCap·WildAvatar, 상반신용 TalkShow, 얼굴 중심 INSTA 자료로 성능을 평가했다. NeuMan 전신 영상에서 플렉시아바타의 PSNR은 35.77dB로 비교 기술 ExAvatar의 34.80dB보다 높았다. 실제 환경 영상인 WildAvatar에서는 30.98dB를 기록해 ToMiE의 28.65dB를 앞섰다. TalkShow의 Conan 상반신 영상에서는 36.73dB, INSTA 얼굴 중심 영상에서는 33.04dB였다.
PSNR은 복원된 영상과 원본 영상의 신호 차이를 수치로 나타낸 지표로, 일반적으로 값이 높을수록 원본과 가깝다. 다만 이 수치 하나가 사람이 느끼는 자연스러움이나 실제 이용자의 만족도까지 보장하지는 않는다.
효율 개선은 얼굴 중심 영상에서 두드러졌다. ExAvatar와 비교해 사용한 가우시안 수는 16만7,390개에서 8만4,095개로 49.7% 줄었고, 아바타 자산 용량도 8.94MB에서 4.49MB로 49.8% 감소했다. 초당 렌더링 속도는 29.18장에서 39.15장으로 34.2% 높아졌다. 상반신 조건에서는 가우시안 수와 용량이 각각 13.8% 줄었으며 속도는 초당 31.06장에서 33.87장으로 9.1% 개선됐다.
이번 연구는 얼굴·상반신·전신처럼 제각각인 일상 영상의 촬영 범위를 한 제작 체계에서 다룰 수 있다는 데 의미가 있다. 화면에 있는 정보만 선택적으로 계산함으로써 보이지 않는 신체 부위가 만드는 오류를 줄이고, 아바타 자산의 크기와 화면 생성 부담도 낮추는 접근을 제시했다.
자료: 울산과학기술원(UNIST), 애버딘대학교, 유니버시티 칼리지 런던, arXiv