berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Jantung Mesin

Editor: Zenan, Jiaqi

Untuk membuat video dengan Clapper, Anda hanya perlu menjadi sutradaranya saja.

Dengan dirilisnya Sora, bidang video sepertinya sudah memasuki era AI generatif. Namun hingga saat ini, kami masih belum menggunakan alat pembuat video resmi OpenAI, dan orang-orang yang sudah tidak sabar mulai mencari metode lain.

Dalam beberapa minggu terakhir, Clapper, alat pengeditan video open source, telah menarik perhatian.

Berbeda dengan generator video yang ditawarkan oleh banyak perusahaan teknologi, Clapper adalah alat visualisasi cerita AI open source yang diluncurkan sebagai prototipe setahun lalu. Ini tidak dirancang untuk menggantikan editor video tradisional, atau editor AI modern yang menggunakan adegan 3D sebagai masukan.

Konsep Clapper adalah menyatukan berbagai teknologi AI generatif untuk memungkinkan siapa pun membuat video menggunakan AI melalui proses yang interaktif, berulang, dan intuitif. Tidak diperlukan alat eksternal, pembuatan film, atau keahlian teknik AI. Di Clapper, Anda tidak perlu mengedit urutan file video dan audio secara langsung. Sebagai gantinya, Anda dapat mengulangi cerita Anda berdasarkan Agen AI dengan menyesuaikan konsep abstrak tingkat tinggi seperti karakter, lokasi, cuaca, periode waktu, gaya, dll. .

Julian Bilcke, penulis Clapper, adalah insinyur front-end AI di HuggingFace. Dia mengatakan bahwa untuk terus bekerja ke arah ini, dia juga mengembangkan mode sutradara: tujuannya adalah memungkinkan pengguna memutar video dalam layar penuh, duduk dengan nyaman di kursi (atau sofa) sutradara, meneriakkan perintah kepada Agen, dan biarkan AI membuat film.

Dalam beberapa hari terakhir, Julian Bilcke telah meluncurkan fitur-fitur baru seperti mengubah teks arbitrer menjadi garis waktu menggunakan model besar. Popularitas Clapper juga meningkat, dan sudah memiliki lebih dari 1.100 Bintang di GitHub.

• Tautan GitHub: https://github.com/jbilcke-hf/clapper
• HuggingFace Sumber: https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• URL percobaan: https://clapper.app/

Cara menggunakan

Karena ini adalah alat sumber terbuka, hal utama yang kami perhatikan tentu saja adalah apakah alat tersebut mudah digunakan.

Masih ingat pengalaman AI master Karpathy membuat video pendek AI? Untuk mengubah tiga kalimat pertama "Pride and Prejudice" menjadi versi animasi, pakar top ini membutuhkan waktu satu jam penuh. Meski hanya ada tiga kalimat dan tiga adegan, alur kerja ini jauh lebih rumit daripada tiga kalimat. Dia pertama-tama menggunakan Claude untuk menghasilkan serangkaian kata-kata cepat gambar berdasarkan teks asli, kemudian memasukkan kata-kata cepat ini ke dalam model grafik Vincent untuk menghasilkan gambar yang sesuai, dan kemudian menyerahkannya ke model video untuk membuat animasi ditugaskan ke Elevenlabs, dan akhirnya di Veed Studio Gabungkan semua bagiannya.

Jadi, setelah Karpathy selesai, dia menulis tweet dan mengeluh, dengan mengatakan: "Pengusaha, peluang telah datang! Pasar sangat membutuhkan alat AI yang dapat mengintegrasikan dan menyederhanakan proses ini."

Clapper adalah platform terpadu yang mengintegrasikan semua fungsi ini.

Biasanya jika ingin membuat video pendek, Anda perlu melalui langkah-langkah berikut ini. Pertama, Anda memerlukan cerita dan naskah, lalu menggambar papan cerita berdasarkan naskah, lalu memotret atau mencari materi berdasarkan papan cerita, menggabungkannya dalam perangkat lunak pengeditan, menambahkan efek animasi dan efek khusus, lalu secara selektif menambahkan kata-kata yang diucapkan dan musik latar. Atau efek suara. Oleh karena itu, muncullah pembagian kerja dalam industri produksi film dan televisi seperti koreografi, penyutradaraan, fotografi, penyuntingan, pasca produksi, dan sulih suara.

Di Clapper, produksi video mengikuti logika yang berbeda. Setiap track di dalamnya tidak sesuai dengan materi video atau gambar seperti Premier, Pemotongan, dan perangkat lunak pengeditan lainnya, tetapi sesuai dengan jenis pekerjaan tertentu.

jalur material yang terpotong

Orbit Clapper

Dalam hal penggunaan AI untuk membuat video, kami adalah pihak AI. Clapper seperti kru yang terdiri dari AI paling kuat di industri. Clapper memiliki serangkaian model besar "terkemuka" seperti GPT-4o, Claude 3.5 (Sonnet), dll. Ini seperti direktur eksekutif Partai B, yang bertanggung jawab untuk menghubungkan kebutuhan Anda dengan "direktur AI" yang sesuai.

Seperti yang dapat dilihat dari gambar di atas, trek pertama mewakili storyboard dan berbicara dengan model besar yang dibangun di Clapper. Ini akan memanggil model diagram Vincent melalui API dan membiarkan guru storyboard AI menghasilkan gambar yang sesuai sebagai video gambar. dasar dari.

Model grafik tekstual di atas dapat diakses melalui Clapper

Mengambil contoh film yang diberikan oleh Clapper sebagai contoh, trek berikut sesuai dengan adegan, narasi, perspektif kamera, musik latar, dan efek suara. Anda dapat meminta ElevenLabs atau Fal.ai untuk menghasilkan suara angin reruntuhan atau suara ledakan baku tembak untuk cerita gurun barat ini.

Clapper juga memiliki fungsi lain yang mungkin membawa langkah besar menuju impian "membuat film dengan berbicara". Kami dapat langsung mengimpor skrip ke Clapper dan dengan hati-hati membuat karakter protagonis Anda di kolom "Cerita".

Mengambil contoh "The Wizard of Oz", kita tidak hanya dapat menambahkan lebih banyak deskripsi karakter yang dipersonalisasi ke karakter tersebut, tetapi juga mengunggah gambar untuk mengatur gambaran visual dari pahlawan wanita Dorothy. Artinya kita bisa meminta aktor mana pun di dunia untuk memainkan peran ini, bahkan jika Anda ingin melihat DiCaprio yang berusia 18 tahun memerankan Dorothy, Anda bisa melakukannya. Fungsi Clapper sangat detail sehingga Anda dapat menyesuaikan usia dan timbre karakter, perabotan setiap adegan, furnitur apa yang ada di kamar Dorothy, dan seperti apa rumah di tujuan petualangan mereka "Emerald City", semua bisa disesuaikan di Clapper.

Tentu saja, Anda juga dapat menggunakan AI untuk menggambar beberapa gambar suasana terlebih dahulu, yang selanjutnya dapat merangsang inspirasi dan kreativitas Anda.

Namun, meski fungsi Clapper sudah sepenuhnya mempertimbangkan kebutuhan pembuatan video, namun efeknya terbilang kurang memuaskan. Pergerakan tokoh-tokoh dalam gambar tidak hanya sedikit "hantu", tetapi juga tidak sesuai dengan hukum gerak fisik. Efek keseluruhan video lebih seperti PPT bergerak, kurang transisi dan kontinuitas antar pengambilan gambar, dan soundtracknya juga penuh dengan AI, terdengar tanpa melodi dan sedikit noise.

Mungkin diperlukan waktu lama bagi AI generatif untuk mengubah proses produksi video, namun kemunculan Clapper mungkin memberikan ide implementasi baru bagi produsen besar yang masih memperluas fungsi AI untuk perangkat lunak pengeditan video tradisional.

Konten referensi:

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/1818111874531205216