Kunlun Wanwei, 세계 최초의 AI 단편 드라마 플랫폼 SkyReels 출시
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
8월 19일 Kunlun Wanwei는 비디오 대형 모델과 3D 대형 모델을 통합한 세계 최초의 AI 단편 드라마 플랫폼인 SkyReels를 출시했습니다. SkyReels 플랫폼은 스크립트 생성, 캐릭터 커스터마이징, 스토리보드, 플롯, 대화/BGM 및 비디오 합성을 통합하여 제작자가 "원 클릭으로 드라마를 만들고" 고품질 AI 비디오를 쉽게 제작할 수 있도록 합니다.
판타지 블록버스터, 신랄한 사도마조히즘, 재미있는 코미디... 간단한 아이디어만 입력하면 SkyReels가 대본부터 완성된 단편극까지 전체 제작 과정을 완료할 수 있습니다.
SkyReels 플랫폼은 Kunlun Wanwei가 자체 개발한 스크립트 대형 모델 SkyScript, 자체 개발한 스토리보드 대형 모델 StoryboardGen, 자체 개발한 3D 생성 대형 모델 Sky3DGen 및 AI 3D 엔진과 비디오 대형 모델을 깊이 통합하는 업계 최초의 혁신적인 플랫폼 WorldEngine을 통합합니다.
SkyReels는 스크립트 품질, 스토리보드 품질, 캐릭터 성능 및 기타 측면의 품질 평가에서 GPT-4o와 같은 대형 모델보다 앞서 있습니다.
SkyReels는 AI를 통해 한 번의 클릭으로 완전한 스크립트, 스토리보드, 캐릭터 대화 및 BGM을 생성할 수 있습니다. 캐릭터 이미지, 사운드 및 스토리보드에 대한 맞춤형 조정을 지원하고 콘텐츠를 1080P 60프레임 고화질 비디오로 자동 변환하고 생성할 수 있습니다. 한 번에 60초 분량의 영상을 생성할 수 있는 소라(Sora)와 10초 분량의 영상을 생성할 수 있는 켈링(Keling)에 비하면 길이는 180초에 달한다. 모든 창작 결과물을 원클릭으로 통합해 영상 제작 효율성을 대폭 높이고, 제작 비용을 절감하며 '1인 1드라마' 시대를 앞당긴다.
동시에 WorldEngine은 엔진의 정밀한 제어 가능성(조명 시뮬레이션, 물리적 시뮬레이션, 3D 공간, 실시간 상호 작용 등)과 AI 비디오 대형 모델의 판타지 생성 능력을 결합하여 새로운 온라인 하이브리드 비디오를 제공합니다. 퍼지 생성에서 보다 정확하고 제어 가능한 생성 모드로 비디오 생성이 가능합니다.
SkyReels의 주요 내용은 다음과 같습니다.
완전 자동화된 스크립트 생성: 사용자가 컨셉이나 아이디어를 입력하면 AI가 한 번의 클릭으로 완전한 구조와 풍부한 플롯을 갖춘 스크립트를 생성하고 기존 스크립트의 자동 배열 및 다듬기를 지원하여 창의적 효율성을 향상시킵니다.
고품질 플롯 디자인: 대본의 풍부함과 매력을 보장하기 위해 수많은 대본 플롯을 분석하여 고품질 스토리 라인, 극적인 갈등, 흥미로운 지점 및 감정 표현을 생성합니다.
지능형 스토리보드 생성: 스크립트 내용을 기반으로 한 번의 클릭으로 스토리보드 이미지와 해당 텍스트 스크립트가 생성됩니다. 또한 사용자는 스토리보드, 카메라 각도, 카메라 이동 방법 등의 매개변수를 자유롭게 조정하여 창의성을 정확하게 구현할 수 있습니다.
감성대화/BGM : 감성음성합성 기술을 통해 캐릭터에게 자연스러운 문장간 휴지, 감정표현, 억양을 부여하고, 영상 콘텐츠를 기반으로 AI BGM을 자동 생성해 그림과 음악을 완벽하게 융합합니다.
개인화된 사용자 정의: 창작자의 개별 요구에 맞게 캐릭터 이미지, 음색, 스토리보드의 지능적인 생성 및 사용자 정의 조정을 지원하고 선호도에 맞게 애니메이션, 만화, 실사 3D 등 다양한 시각적 스타일 선택을 제공합니다. 콘텐츠는 다양한 제작자의 요구 사항을 표현합니다.
콘텐츠 일관성 및 정확성: 다양한 스토리보드에서 캐릭터와 장면의 일관성을 보장하고, 스토리 설명을 기반으로 캐릭터 연기를 자동으로 추론하여 캐릭터 표현, 동작, 대사를 조율하여 스토리 표현을 개선합니다.
효율적인 비디오 생성: 스토리보드를 연속적인 고화질 비디오로 자동 변환하고 1080P 60프레임 출력을 제공하여 원활한 시청 경험을 보장합니다.
편리한 후반 작업 합성: 모든 창의적인 결과를 한 번의 클릭으로 통합하고 빠르게 내보내고 공유할 수 있으므로 사후 편집이 용이합니다.
SkyReels의 AI 스크립트 생성 기능은 Kunlun Wanwei가 자체 개발한 대형 스크립트 모델 SkyScript를 기반으로 합니다. AI가 생성한 대본에 단편 드라마의 고밀도 및 흥미진진한 줄거리를 만들기 위해 Kunlun Wanwei는 먼저 10억 수준의 고품질 단편 드라마 구조화 데이터 세트 SkyScript-100M을 구축했습니다. 이 데이터 세트는 줄거리 리듬과 흥분을 목표로 합니다. 대규모 단편 드라마의 포인트와 감정 변화를 고품질로 주석 처리합니다.
둘째, 알고리즘 팀은 점진적으로 생성되는 스크립트 생성 프레임워크를 설계하여 모델이 고도로 구조화되고 흥미로운 스크립트를 출력할 수 있도록 했습니다. 초보 작가와 숙련된 극작가 모두 이를 사용하여 창의성을 자극하고 매력적인 단편 극 스크립트를 쉽게 만들 수 있습니다.
단편 드라마 제작의 또 다른 중요한 단계인 스토리보드 생성, Kunlun Wanwei가 자체 개발한 스토리보드 생성 대형 모델 StoryboardGen은 기본 기술을 제공합니다. StoryboardGen은 DiT-MoE 아키텍처(확산 변환기 기술을 기반으로 한 Mixed-of-Experts 하이브리드 전문가 아키텍처)를 기반으로 하는 Kunlun Wanwei의 첫 번째 스토리보드 생성 모델로, 고밀도 스토리보드 정보 생성을 달성하고 시각적 내러티브 표현 기능을 크게 향상시킬 수 있습니다.
스크립트를 입력한 후 StoryboardGen 모델은 스크립트를 전역 부분과 메인 부분의 두 부분으로 분해합니다. 전역 부분에는 장면, 장면, 구성 등 스토리보드에 대한 전반적인 설명이 포함됩니다. 주요 부분에는 사용자 정의가 포함됩니다. 최종적으로 스토리보드 에이전트에 수집된 캐릭터 이미지와 액션 피규어를 모아 완전한 스토리보드를 생성합니다. StoryboardGen의 특화된 다중 에이전트 아키텍처는 캐릭터와 장면의 제어 가능성과 일관성을 효과적으로 보장하고 고품질 산업 등급 스토리보드를 생성할 수 있습니다.
Kunlun Wanwei StoryboardGen 대형 스토리보드 모델 기술 개략도
최종 이미지 생성 과정에서 WorldEngine은 AI 3D 엔진과 영상 대형 모델을 심층적으로 통합한 업계 최초의 혁신 플랫폼이다. 이는 획기적인 기술 혁신입니다. WorldEngine은 레이어 융합 기술을 브리지로 사용하여 전례 없는 3D 및 비디오 하이브리드 생성 모드를 만듭니다.
사용자는 SkyReels를 사용하여 AI 비디오를 생성할 때 모든 요소에 대해 3D AI 엔진 생성 또는 비디오 대형 모델 생성을 자유롭게 선택할 수 있습니다. 현재 AI 비디오 대형 모델의 반물리 법칙 현상은 물리적 시뮬레이션의 정확성과 비디오 대형 모델의 환상적인 창의성을 최대한 완벽하게 융합합니다. 이후 AI 영상세대 대형 모델은 '퍼지 제어' 시대에서 '정밀 제어성' 시대로 이동하게 된다.
3D AI 엔진 측면에서 Kunlun Wanwei가 자체 개발한 Sky3DGen 대형 모델은 자연 풍경부터 미래 도시, 정적 개체부터 동적 캐릭터까지 다양한 3D 요소와 장면을 생성할 수 있으며 실시간 3D 장면 상호 작용 기능을 제공하여 사용자가 다음을 수행할 수 있도록 합니다. 조정 및 편집 효과를 즉시 확인하여 창작 과정을 가속화할 수 있습니다. WorldEngine의 지원으로 사용자는 3D 가상 스튜디오를 쉽게 구축하여 꿈같은 가상 촬영 경험을 얻을 수도 있습니다.
캐릭터 연기는 단편극 표현의 핵심 링크 중 하나입니다. 따라서 AI 캐릭터 성능 측면에서 Kunlun SkyReels 팀은 특별히 ActorShow 캐릭터 생성 모델을 개발하여 SkyReels에서 생성된 AI 캐릭터가 입 표정과 신체 움직임의 제어 가능한 생성 기능을 더욱 강력하게 갖고 캐릭터 표현이 더욱 자연스러워졌습니다.
비디오 합성 후 발생하는 조명 차이, 스타일 차이 및 기타 요구 사항에 대응하여 Kunlun SkyReels 팀은 특수 융합 생성 모델을 별도로 훈련하여 레이어 융합 후 비디오가 좋은 일관성을 제공하도록 했습니다.
Kunlun Wanwei AI 단편 드라마 플랫폼 SkyReels의 출시는 글로벌 AI 단편 드라마 제작의 기술적 도약을 의미하며, 창작자들이 지루하고 복잡한 제작 과정에서 벗어나 창의적 실현과 영감을 주는 표현에 집중할 수 있도록 해줄 것입니다. '1인 1드라마'를 꿈꾸는 현실이다.
SkyReels AI 단편 드라마 플랫폼은 전문 콘텐츠 제작자를 위한 강력한 창작 도구를 제공할 뿐만 아니라 AI 단편 드라마 제작의 문턱을 대폭 낮춰 비전문 사용자도 쉽게 시작할 수 있도록 해줍니다. 이 혁신적인 도구는 AI 단편드라마 사용자 생성 콘텐츠(UGC)와 전문 사용자 생성 콘텐츠(PUGC)의 폭발적인 성장을 가져오고, 단편 드라마 콘텐츠 생태계에 전례 없는 활력을 불어넣고, 단편 드라마 발전을 촉진할 것으로 기대됩니다. 콘텐츠 제작 및 소비 시장이 더욱 빠르게 성장하고 있습니다. AI 기술이 주도하는 단편드라마 창작과 소비의 시대가 온다.
Kunlun Technology는 고급 AIGC 기술을 통해 글로벌 콘텐츠 제작자에게 보다 지능적이고 효율적이며 개인화된 도구를 제공하기 위해 항상 노력해 왔습니다. Kunlun Technology는 "All in AGI 및 AIGC" 전략에 따라 항상 "일반 인공 지능을 실현하고 모든 사람이 자신을 더 잘 형성하고 표현할 수 있도록 하는 것"을 사명으로 삼아 왔습니다. 앞으로도 Kunlun Wanwei는 글로벌 시장에 대한 심층적인 탐구를 통해 사용자에게 고품질 AIGC 제품과 서비스를 지속적으로 혁신하고 제공할 것입니다.
번역하다
찾다
복사
