2024-08-13
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
기계 심장 보고서
편집자: Zenan, Jiaqi
Clapper로 동영상을 만들려면 감독만 있으면 됩니다.
소라 출시로 영상 분야는 제너레이티브 AI 시대에 돌입한 것으로 보인다. 하지만 오늘날까지 우리는 아직 OpenAI의 공식 비디오 생성 도구를 사용하지 않았고, 기다릴 수 없는 사람들은 다른 방법을 찾기 시작했습니다.
최근 몇 주 동안 오픈소스 영상 편집 도구인 클래퍼(Clapper)가 주목을 받았다.
많은 기술 회사에서 제공하는 비디오 생성기와 달리 Clapper는 1년 전에 프로토타입으로 출시된 오픈 소스 AI 스토리 시각화 도구입니다. 기존 비디오 편집기나 3D 장면을 입력으로 사용하는 최신 AI 편집기를 대체하도록 설계되지 않았습니다.
Clapper의 컨셉은 다양한 생성 AI 기술을 결합하여 대화형, 반복적, 직관적인 프로세스를 통해 누구나 AI를 사용하여 동영상을 만들 수 있도록 하는 것입니다. 외부 도구, 영화 제작 또는 AI 엔지니어링 기술이 필요하지 않습니다. Clapper에서는 비디오 및 오디오 파일 시퀀스를 직접 편집할 필요가 없으며 대신 캐릭터, 위치, 날씨, 기간, 스타일 등과 같은 상위 수준의 추상 개념을 조정하여 AI 에이전트를 기반으로 스토리를 반복할 수 있습니다. .
Clapper의 저자인 Julian Bilcke는 HuggingFace의 AI 프런트엔드 엔지니어입니다. 그는 이 방향으로 계속 작업하기 위해 디렉터 모드도 개발 중이라고 말했습니다. 사용자가 전체 화면으로 비디오를 재생하고, 디렉터 의자(또는 소파)에 편안하게 앉아 에이전트에게 명령을 외치고, AI가 영화를 만들게 해주세요.
최근 Julian Bilcke는 대형 모델을 사용하여 임의의 텍스트를 타임라인으로 변환하는 등의 새로운 기능을 출시했습니다. Clapper의 인기도 높아져 이미 GitHub에 별이 1,100개가 넘었습니다.
사용방법
오픈 소스 도구이기 때문에 우리가 주로 보는 것은 사용하기 쉬운지 여부입니다.
AI 마스터 Karpathy가 AI 단편 영상을 제작했던 경험을 아직도 기억하시나요? 이 최고 전문가는 "오만과 편견"의 처음 세 문장을 애니메이션 버전으로 바꾸는 데 꼬박 한 시간이 걸렸습니다. 세 개의 문장과 세 개의 장면만 있지만 이 작업 흐름은 세 개의 문장보다 훨씬 더 복잡합니다. 그는 먼저 Claude를 사용하여 원본 텍스트를 기반으로 일련의 이미지 프롬프트 단어를 생성한 다음 이러한 프롬프트 단어를 Vincent 그래프 모델에 입력하여 해당 이미지를 생성한 다음 이를 비디오 모델에 넘겨 애니메이션을 제작했습니다. Elevenlabs에 배정되었고, 마침내 Veed Studio에서 모든 조각을 하나로 모았습니다.
그래서 Karpathy가 완료된 후 그는 트위터를 통해 "기업가들이여, 기회가 왔습니다! 시장에는 이러한 프로세스를 통합하고 단순화할 수 있는 AI 도구가 시급히 필요합니다."라고 불평했습니다.
Clapper는 이 모든 기능을 통합한 원스톱 플랫폼입니다.
일반적으로 짧은 동영상을 만들고 싶다면 다음 단계를 거쳐야 합니다. 먼저 스토리와 대본이 필요하고, 그 대본을 바탕으로 스토리보드를 그린 다음, 스토리보드를 바탕으로 자료를 촬영하거나 찾고, 편집 소프트웨어에서 정리하고, 애니메이션 효과와 특수효과를 추가한 뒤, 선택적으로 대사와 배경음악을 추가하면 된다. 아니면 음향 효과. 이에 따라 안무, 연출, 사진, 편집, 후반작업, 더빙 등 영화·TV 제작산업에 분업이 생겨났다.
Clapper에서는 비디오 제작이 다른 논리를 따릅니다. 각 트랙은 Premier, Cutting 및 기타 편집 소프트웨어와 같은 비디오 또는 사진 자료에 해당하지 않지만 특정 유형의 작업에 해당합니다.
잘린 재료 트랙
클래퍼의 궤도
AI를 활용해 영상을 만드는 데 있어서는 우리가 AI 쪽이다. 클래퍼는 업계에서 가장 강력한 AI로 구성된 크루와 같습니다. Clapper에는 GPT-4o, Claude 3.5(Sonnet) 등과 같은 "최고 수준"의 대형 모델 시리즈가 내장되어 있습니다. 이는 귀하의 요구를 해당 "AI 디렉터"와 연결하는 책임을 맡은 Party B의 전무 이사와 같습니다.
위 그림에서 볼 수 있듯이 첫 번째 트랙은 스토리보드를 나타내며 Clapper에 내장된 대형 모델과 대화하여 API를 통해 Vincent 다이어그램 모델을 호출하고 AI 스토리보드 교사가 해당 그림을 비디오로 생성하도록 합니다. 그림의 기초.
위의 텍스트 그래프 모델은 Clapper를 통해 액세스할 수 있습니다.
Clapper가 제공한 샘플 필름을 예로 들면 다음 트랙은 장면, 내레이션, 카메라 시점, 배경 음악 및 음향 효과에 해당합니다. 이 서부 황무지 이야기를 위해 ElevenLabs 또는 Fal.ai에 폐허의 바람 소리나 총격전의 폭발음을 생성하도록 요청할 수 있습니다.
클래퍼에는 '말로 영화를 만든다'는 꿈을 향한 큰 발걸음을 내딛을 수 있는 또 다른 기능도 있다. 스크립트를 Clapper로 직접 가져와서 "스토리" 열에서 주인공의 캐릭터를 세심하게 생성할 수 있습니다.
"오즈의 마법사"를 예로 들면, 캐릭터에 더 개인화된 캐릭터 설명을 추가할 수 있을 뿐만 아니라, 여주인공 도로시의 시각적 이미지를 설정하기 위해 사진을 업로드할 수도 있습니다. 즉, 세계 어느 배우에게든 이 역할을 해달라고 요청할 수 있고, 18세 디카프리오가 도로시를 연기하는 모습을 보고 싶어도 할 수 있다는 뜻입니다. Clapper의 기능은 너무 세밀해서 캐릭터의 나이와 음색, 각 장면의 가구, Dorothy의 방에 어떤 가구가 있는지, 모험 목적지인 "Emerald City"에 있는 집의 모습 등을 모두 조정할 수 있습니다. 클래퍼에서 조정되었습니다.
물론, AI를 사용하여 먼저 분위기 있는 그림을 그릴 수도 있으며, 이는 영감과 창의성을 더욱 자극할 수 있습니다.
다만, 클래퍼의 기능은 영상 제작에 필요한 부분을 충분히 고려했음에도 불구하고 그 효과는 다소 만족스럽지 않습니다. 그림 속 인물의 움직임은 약간 "유령적"일 뿐만 아니라 물리적 움직임의 법칙을 따르지 않습니다. 비디오의 전반적인 효과는 움직이는 PPT에 가깝고 장면 간 전환과 연속성이 부족하며 사운드트랙도 AI로 가득 차 있어 멜로디가 없고 약간의 소음이 들립니다.
생성적 AI가 영상 제작 프로세스를 바꾸는 데는 오랜 시간이 걸릴 수 있지만, Clapper의 등장은 여전히 기존 영상 편집 소프트웨어의 AI 기능을 확장하고 있는 주요 제조업체에 새로운 구현 아이디어를 제공할 수 있습니다.
참고 내용:
https://news.ycombinator.com/item?id=41221399
https://x.com/aigclink/status/1818111874531205216
