바이트댄스 ‘시댄스 2.5’ 공개…30초 생성해 최대 3분 영상으로 확장

한 장면을 짧게 만드는 데 머물렀던 AI 영상 생성 기술이 여러 장면으로 이야기를 구성하고 최대 3분 길이까지 확장하는 단계로 넓어졌다. 바이트댄스는 31일 현지시간 창작 과정 전반을 지원하는 영상 생성 모델 ‘시댄스 2.5(Seedance 2.5)’를 공개했다고 밝혔다.

시댄스 2.5는 기존 시댄스 2.0의 통합 멀티모달 오디오·비디오 공동 생성 구조를 기반으로 한다. 멀티모달은 이미지와 영상, 음성처럼 서로 다른 형식의 자료를 함께 이해하는 방식을 뜻한다. 바이트댄스는 이용자의 요구가 단순한 영상 생성에서 하나의 완성된 창작물을 제작하는 방향으로 바뀐 점을 반영했다고 설명했다.

새 모델은 한 번에 최대 30초 길이의 영상과 오디오를 생성한다. 이후 결과물을 여러 차례 이어 붙이는 확장 기능을 이용하면 드리미나 AI에서 최대 3분 길이의 영상도 만들 수 있다. 영상을 확장하는 동안 등장인물과 배경, 이야기 흐름, 화면과 소리의 스타일을 일정하게 유지하도록 설계했다.

이야기 구성 능력도 강화했다. 하나의 장면을 길게 만드는 데 집중했던 기존 모델과 달리 도입·전개·전환·결말에 해당하는 여러 장면을 논리적으로 연결한다. 공연 영상이라면 분장실의 준비 과정부터 무대 뒤 이동, 무대 진입과 공연까지 이어지는 흐름을 구성할 수 있다. 여러 컷이 연결돼도 주인공의 외형과 배경을 안정적으로 유지하고 카메라 이동과 장면 전환을 부드럽게 처리한다.

의상 움직임과 조명, 그림자, 피부 질감, 눈 표현, 색감도 현실적으로 구현하도록 개선했다. 이용자가 요청하지 않은 자막이나 배경음악이 생기는 현상도 줄였다.

한 번의 생성 과정에는 이미지 최대 30장, 영상 10개, 오디오 파일 10개 등 총 50개의 참조 자료를 넣을 수 있다. 모델은 이 자료에서 장면 구성과 스타일, 인물, 소품, 음성을 종합적으로 파악해 여러 인물과 공간이 등장하는 영상의 일관성을 유지한다.

새로 지원하는 ‘클레이 렌더’ 참조 기능은 질감이 없는 3차원 모델로 공간 구조와 인물 배치, 이동 경로, 카메라 구도를 먼저 설계하는 방식이다. 모델은 이를 바탕으로 이용자가 구상한 연출에 가까운 영상을 만든다. 광원 방향과 색온도, 그림자도 반영한다.

편집할 때는 초 단위 타임스탬프, 즉 영상 속 정확한 시간을 지정해 일부 구간만 고칠 수 있다. 특정 장면의 인물과 행동, 이야기 요소를 바꾸면서도 전체 흐름을 유지하며, 크로마키로 불리는 그린스크린 편집과 카메라 시점 변경도 지원한다.

바이트댄스는 교육용 역사·과학·실험 영상뿐 아니라 로봇 학습용 합성 데이터, 산업 시뮬레이션, 공정 교육, 자율주행 시스템 테스트에도 활용할 수 있다고 밝혔다. 현재 짐멍 AI와 더우바오 프로, 드리미나 AI에서 이용할 수 있으며 기업용 API는 바이트플러스의 모델아크를 통해 제공될 예정이다.

자료: 바이트댄스