손·얼굴·몸짓 읽어 글로…구글 딥마인드, 수어 번역 AI 공개

말과 글 사이에서 끊기던 의사소통을 스마트폰 카메라로 잇는 수어 번역 인공지능이 소비자 제품에 들어왔다. 구글 딥마인드는 청각장애인과 난청 사용자가 스마트폰에 수어로 입력하면 이를 글로 바꾸는 ‘수어-텍스트(Sign Language-to-Text·SL2T) 1.0’ 모델을 공개했다고 밝혔다.

현재 실제 제품에서 쓸 수 있는 범위는 제한적이다. SL2T 1.0은 Pixel 11의 키보드 애플리케이션 Gboard와 음성·소리를 문자로 보여주는 Live Transcribe에서 미국수어(ASL)를 영어로 변환한다. 구글 딥마인드는 이를 수어 AI를 연구실에서 소비자용 제품으로 옮긴 첫 사례라고 설명했지만, 이 ‘최초’라는 표현은 독립적으로 검증된 결과가 아니라 회사의 설명이다.

학습 단계에서는 지원 범위보다 훨씬 넓은 자료가 쓰였다. SL2T 1.0은 50개가 넘는 수어의 영상 데이터 10만 시간 이상을 함께 학습했으며, 그중 미국수어가 약 25%를 차지했다. 여러 수어로 공동 학습했다는 사실이 곧 50개 넘는 수어를 제품에서 번역할 수 있다는 뜻은 아니다. 현재 확인된 제품 기능은 미국수어를 영어로 옮기는 기능뿐이다.

수어 번역은 손 모양만 알아보는 문제가 아니다. 수어는 음성언어의 단어를 손동작으로 하나씩 바꾼 체계가 아니라 독자적인 문법과 어휘를 지닌 자연언어다. 손의 위치와 움직임뿐 아니라 얼굴 표정, 머리와 몸의 움직임, 공간에 정보를 배치하는 방식이 동시에 의미를 만든다. 따라서 수어 AI에는 영상을 읽는 기술과 서로 다른 언어 사이의 뜻을 옮기는 번역 기술이 함께 필요하다.

공동 영향평가 보고서에 따르면 SL2T 1.0은 얼굴·몸·손에서 모두 130개 지점을 찾아 각 영상 화면의 가로·세로 위치를 나타내는 2차원 좌표로 바꾼다. 이어 트랜스포머가 시간에 따라 달라지는 좌표의 관계를 분석해 텍스트를 만든다. 트랜스포머는 앞뒤 입력의 관계를 살펴 문맥을 파악하는 AI 구조다.

영상 처리와 서버 전송의 경계도 공개됐다. 영상에서 130개 지점의 좌표를 뽑는 작업은 이용자의 기기에서 이뤄지며, 원영상은 즉시 폐기된다. 다만 추출된 좌표 데이터는 번역 처리를 위해 구글 서버로 전송된다. 이용자가 평가 연구 참여에 명시적으로 동의하지 않는 한 입력과 출력 로그는 구글 측에 보관하지 않는다고 밝혔다.

평가에 활용할 수 있는 FLEURS-ASL 자료는 인증 농통역사 5명이 제작했다. 이 자료는 미국수어 영상을 200개 언어의 텍스트 또는 102개 언어의 음성과 연결해 번역 성능을 살필 수 있게 구성됐다. 다만 관련 논문은 스튜디오에서 촬영했고 화자 구성이 제한돼 실제 사용 환경과 다양한 인구 집단을 충분히 대표하지 못한다고 한계를 명시했다.

수어 접근성은 소수의 편의 기능에 그치지 않는다. 세계농인연맹은 수어 공동체에 속하는 농인이 7천만 명 이상이라고 추정하면서도 공식 세계 통계는 없다고 밝혔다. 전 세계에는 200개가 넘는 국가 수어가 있지만 법적 인정을 받은 비율은 약 40%라고 설명한다. 유엔 장애인권리협약 제21조도 공식적인 상호작용에서 수어 사용을 수용·촉진하고 수어를 인정·증진하도록 규정한다.

이번 공개는 대규모 다국어 학습을 소비자용 수어 입력 기능과 연결했다는 점에서 의미가 있다. 그러나 추가 지원 기기와 수어, 출시 일정은 공개되지 않았고 한국수어 지원 여부도 확인되지 않았다. ‘실시간’이라는 표현 역시 수치화된 지연시간이 공개되지 않은 만큼 구글 측의 제품 설명 범위에서 받아들일 필요가 있다.

자료: Google DeepMind, AI Sign Language Advisory Committee (AISLAC), Association for Computational Linguistics (ACL), World Federation of the Deaf (WFD), United Nations (UN)