uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Koneen sydänraportti

Toimittaja: Zenan, Jiaqi

Jotta voit tehdä videoita Clapperilla, sinun tarvitsee vain olla ohjaaja.

Soran julkaisun myötä videoala näyttää siirtyneen generatiivisen tekoälyn aikakauteen. Mutta tähän päivään asti emme ole vieläkään käyttäneet OpenAI:n virallista videonluontityökalua, ja ihmiset, jotka eivät malta odottaa, ovat alkaneet etsiä muita menetelmiä.

Viime viikkoina Clapper, avoimen lähdekoodin videoeditointityökalu, on herättänyt huomiota.

Toisin kuin monien teknologiayritysten tarjoamat videogeneraattorit, Clapper on avoimen lähdekoodin tekoälyn tarinan visualisointityökalu, joka julkaistiin prototyyppinä vuosi sitten. Sitä ei ole suunniteltu korvaamaan perinteisiä videoeditoreja tai moderneja tekoälyeditoreja, jotka käyttävät 3D-kohtauksia syötteenä.

Clapperin ideana on yhdistää erilaisia ​​generatiivisia tekoälytekniikoita, jotta kuka tahansa voi luoda videoita tekoälyllä interaktiivisen, iteratiivisen ja intuitiivisen prosessin kautta. Ei vaadi ulkoisia työkaluja, elokuvantekoa tai tekoälyn suunnittelutaitoja. Clapperissa sinun ei tarvitse muokata video- ja äänitiedostosarjoja suoraan. Sen sijaan voit toistaa tarinaasi tekoälyagentin perusteella säätämällä korkean tason abstrakteja käsitteitä, kuten hahmoja, paikkoja, säätä, ajanjaksoja, tyylejä jne. .

Julian Bilcke, Clapperin kirjoittaja, on HuggingFacen tekoäly-insinööri. Hän sanoi, että jatkaakseen työskentelyä tähän suuntaan hän kehittää myös ohjaajatilaa: tavoitteena on antaa käyttäjille mahdollisuus toistaa videoita koko näytöllä, istua mukavasti ohjaajan tuolissa (tai sohvalla), huutaa komentoja agentille, ja anna tekoälyn tehdä elokuvia.

Viime päivinä Julian Bilcke on julkaissut uusia ominaisuuksia, kuten mielivaltaisen tekstin muuntamisen aikajanaksi suurilla malleilla. Clapperin suosio on myös kasvanut, ja sillä on jo yli 1 100 tähteä GitHubissa.

• GitHub-linkki: https://github.com/jbilcke-hf/clapper
• HuggingFace 链接: https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• Kokeilu-URL-osoite: https://clapper.app/

Kuinka käyttää

Koska se on avoimen lähdekoodin työkalu, tarkastelemme pääasiassa sitä, onko se helppokäyttöinen.

Muistatko vielä tekoälymestari Karpathyn kokemuksen tekoälyn lyhyiden videoiden luomisesta? "Pride and Prejudice" -elokuvan kolmen ensimmäisen virkkeen muuttamiseksi animaatioksi tältä huippuasiantuntijalta kesti koko tunnin. Vaikka siinä on vain kolme lausetta ja kolme kohtausta, tämä työnkulku on paljon monimutkaisempi kuin kolme lausetta. Hän käytti Claudea ensin sarjan kuvakehotteiden luomiseen alkuperäisen tekstin perusteella, sitten syötti nämä kehotesanat Vincentin kaaviomalliin vastaavien kuvien luomiseksi ja luovutti sen sitten videomallille kopiointitehtävän tekemistä varten määrättiin Elevenlabsiin, ja lopulta Veed Studiossa Laita kaikki palaset yhteen.

Joten, kun Karpathy oli valmis, hän twiittasi ja valitti sanoen: "Yrittäjät, tilaisuus on tullut! Markkinat tarvitsevat kipeästi tekoälytyökalua, joka voi integroida ja yksinkertaistaa näitä prosesseja."

Clapper on yhden luukun alusta, joka yhdistää kaikki nämä toiminnot.

Yleensä jos haluat tehdä lyhyen videon, sinun on suoritettava seuraavat vaiheet. Ensin tarvitset tarinan ja käsikirjoituksen, sitten piirrät käsikirjoituksen perusteella kuvakäsikirjoituksia, kuvaat tai etsit materiaalia kuvakäsikirjoituksen perusteella, yhdistät ne muokkausohjelmistoon, lisäät animaatiotehosteita ja erikoistehosteita ja lisäät sitten valikoivasti puhuttua sanaa ja taustamusiikkia. Tai äänitehosteita. Siksi elokuva- ja televisiotuotannon työnjako, kuten koreografia, ohjaus, valokuvaus, leikkaus, jälkituotanto ja jälkiäänitys, syntyi.

Clapperilla videotuotanto noudattaa eri logiikkaa. Jokainen sen kappale ei vastaa video- tai kuvamateriaalia, kuten Premier-, Cutting- ja muita editointiohjelmistoja, vaan vastaa tietyntyyppistä työtä.

leikattu materiaaliraita

Clapperin kiertorata

Mitä tulee tekoälyn käyttämiseen videoiden tekemiseen, olemme tekoälyn osapuoli. Clapper on kuin miehistö, joka koostuu alan tehokkaimmasta tekoälystä. Clapperissa on sisäänrakennettu sarja "huippuluokan" suuria malleja, kuten GPT-4o, Claude 3.5 (Sonnet) jne. Se on kuin Party B:n toiminnanjohtaja, joka vastaa tarpeidesi yhdistämisestä vastaavaan "AI-johtajaan".

Kuten yllä olevasta kuvasta näkyy, ensimmäinen kappale edustaa kuvakäsikirjoitusta ja puhuu Clapperiin sisäänrakennetun suuren mallin kanssa. Se kutsuu Vincentin kaaviomallin API:n kautta ja antaa tekoälyn opettajan luoda vastaavan kuvan videona kuvan pohjalta.

Yllä oleva tekstigrafiikkamalli on käytettävissä Clapperin kautta

Esimerkkinä Clapperin antamasta näyteelokuvasta seuraavat kappaleet vastaavat kohtausta, kerrontaa, kameraperspektiiviä, taustamusiikkia ja äänitehosteita. Voit pyytää ElevenLabsia tai Fal.aita tuottamaan tuulen ääniä raunioista tai räjähdysääniä tulitaisteluista tähän läntisen joutomaan tarinaan.

Clapperilla on myös toinen toiminto, joka voi todella ottaa suuren askeleen kohti unelmaa "elokuvien tekemisestä puhumalla". Voimme tuoda käsikirjoituksen suoraan Clapperiin ja luoda huolellisesti hahmon päähenkilöllesi "Tarina"-sarakkeessa.

"The Wizard of Oz" esimerkkinä emme voi vain lisätä henkilökohtaisia ​​hahmokuvauksia hahmoihin, vaan myös ladata kuvia luodaksemme visuaalisen kuvan sankaritar Dorothysta. Tämä tarkoittaa, että voimme pyytää mitä tahansa näyttelijää maailmassa näyttelemään tätä roolia, vaikka haluaisit nähdä 18-vuotiaan DiCaprion näyttelemässä Dorothya, voit tehdä sen. Clapperin toiminnot ovat niin yksityiskohtaisia, että voit säätää hahmojen ikää ja sointia, kunkin kohtauksen sisustusta, mitä huonekaluja Dorothyn huoneessa on ja miltä heidän seikkailukohteensa "Emerald City" näyttää talo. säädetty Clapper-säädössä.

Tietenkin voit myös käyttää tekoälyä piirtämään ensin tunnelmakuvia, mikä voi edelleen stimuloida inspiraatiotasi ja luovuuttasi.

Vaikka Clapperin toiminta on täysin huomioinut videoiden tekemisen tarpeet, sen vaikutus on kuitenkin jokseenkin epätyydyttävä. Sen lisäksi, että kuvan hahmojen liikkeet ovat hieman "aavemaisia", ne eivät noudata fyysisen liikkeen lakeja. Videon kokonaisvaikutelma on enemmän kuin liikkuva PPT, josta puuttuu siirtymät ja jatkuvuus otosten välillä, ja ääniraita on myös täynnä tekoälyä, joka kuulostaa ilman melodiaa ja jonkin verran melua.

Generatiivisen tekoälyn muuttaminen videon tuotantoprosessiin voi kestää kauan, mutta Clapperin ilmestyminen voi tarjota uuden toteutusidean suurille valmistajille, jotka edelleen laajentavat tekoälytoimintoja perinteisille videonmuokkausohjelmistoille.

Viitesisältö:

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/1818111874531205216