uutiset

ei kauan sitten hän aloitti "toisen yrittäjyytensä" ja esitteli meille äskettäin tehokkaimmat ar-lasit meta orion, joita hän on hionut kymmenen vuotta. vaikka tämä on vain tulevaisuuteen panostava koneen prototyyppi, se on vienyt parrasvalon applen vision pro.

eilen illalla meta varasti jälleen esityksen videosukupolven mallikappaleella.

meta sanoi, että juuri julkaistu meta movie gen onedistyneimmät "media foundation -mallit" tähän mennessä.

otetaan kuitenkin ensin varotoimenpide käyttöön.

viranomaiset väittävät kommunikoivan ja tekevänsä aktiivisesti yhteistyötä viihdealan ammattilaisten ja tekijöiden kanssa, ja heidän odotetaan integroivan sen metan omiin tuotteisiin ja palveluihin joskus ensi vuonna.

lyhyt yhteenveto meta movie genin ominaisuuksista:

sano hyvästit "miimelle" ja keskity suuriin ja kattaviin toimintoihin

eriteltynä movie genillä on neljä päätoimintoa: videon luonti, personoitu videon luominen, tarkka videoeditointi ja äänen luominen.

vincent-videotoiminto on ollut pitkään vakioominaisuus videon sukupolven malleissa. meta movie gen voi kuitenkin luoda teräväpiirtovideoita eri kuvasuhteilla käyttäjien tarpeiden mukaan, mikä on ensimmäinen laatuaan.

lisäksi meta movie gen tarjoaa edistyneitä videoeditointitoimintoja, joiden avulla käyttäjät voivat suorittaa monimutkaisia ​​videoeditointitehtäviä yksinkertaisella tekstinsyötöllä.

tämä malli antaa sinulle myös tarpeeksi vapautta videon visuaalisesta tyylistä videoleikkeiden välisiin siirtymätehosteisiin ja yksityiskohtaisempiin editointitoimintoihin.

mitä tulee personoidun videon luomiseen,meta movie gen ottaa myös suuren askeleen eteenpäin.

käyttäjät voivat ladata omia kuviaan ja käyttää meta movie gen -ohjelmaa luodakseen henkilökohtaisia ​​videoita säilyttäen samalla luonnetta ja liikettä.

kongming-lyhdyistä läpinäkyviin värillisiin kupliin voit helposti korvata saman kohteen videossa yhdellä lauseella.

vaikka useita videomalleja on paljastettu tänä vuonna, suurin osa niistä voi tuottaa vain "mimeä", jos ne ovat mauttomia meta movie gen ei ole "toistanut samoja virheitä".

käyttäjät voivat tarjota videotiedostoja tai tekstisisältöä ja antaa meta movie genin luoda vastaavan äänen näiden tulojen perusteella. (ps: kiinnitä huomiota rullalaudan laskun jälkiäänitykseen)

ja se ei voi luoda vain yksittäistä äänitehostetta, vaan myös luoda taustamusiikkia tai jopa kokonaisen ääniraidan koko videolle, mikä parantaa huomattavasti videon yleistä laatua ja yleisön katselukokemusta.

katsottuaan demon lex fridman ilmaisi ihailunsa ytimekkäästi.

monet nettimiehet "työnsivät" openai:n futuuria soraa, mutta enemmäninnokkaasti odottaneet verkkovieraat ovat alkaneet odottaa koekokemustutkintojen avautumista.

meta ai:n päätutkija yann lecun mainosti myös meta movie gen -alustaa verkossa.

metan maalaama piirakka on odottamisen arvoinen

kun meta movie gen lanseerattiin, meta ai -tutkimusryhmä julkaisi samaan aikaan myös 92-sivuisen teknisen paperin.

raporttien mukaan metan tekoälytutkimustiimi käyttää pääasiassa kahta perusmallia saavuttaakseen nämä laajat toiminnot - movie gen video- ja movie gen audio -malleja.

niistä movie gen video on 30b-parametrin perusmalli, jota käytetään tekstistä videoksi luomiseen ja jolla voidaan tuottaa laadukkaita jopa 16 sekunnin pituisia hd-videoita.

mallin esikoulutusvaiheessa käytetään suurta määrää kuva- ja videodataa ymmärtääkseen erilaisia ​​visuaalisen maailman käsitteitä, mukaan lukien kohteen liike, vuorovaikutus, geometria, kameran liike ja fyysiset lait.

videoiden luomisen laadun parantamiseksi mallia myös valvotaan hienosäädettynä (sft) käyttämällä pientä sarjaa huolellisesti valittuja korkealaatuisia videoita ja tekstityksiä.

raportti osoittaa, että koulutuksen jälkeinen prosessi on tärkeä vaihe movie gen video -mallikoulutuksessa, mikä voi edelleen parantaa videoiden luomisen laatua, erityisesti kuvien ja videoiden personointi- ja muokkaustoimintoja.

on syytä mainita, että tutkimusryhmä vertasi myös movie gen video -mallia valtavirran videosukupolven malleihin.

koska sora ei ole tällä hetkellä auki, tutkijat voivat käyttää vain sen julkisesti julkaistuja videoita ja vinkkejä vertailuun. muissa malleissa, kuten runway gen3, lumalabs ja keling 1.5, tutkijat päättävät luoda videoita itse api-rajapintojen kautta.

ja koska soran lähettämillä videoilla on eri resoluutio ja kesto, tutkijat rajasivat movie gen videon videot varmistaakseen, että videoilla oli sama resoluutio ja kesto verrattuna.

tulokset osoittavat,movie gen videon yleinen arviointivaikutus on huomattavasti parempi kuin runway gen3 ja lumalabs, sillä on pieni etu openai soraan verrattuna ja se vastaa keling 1.5:tä.

tulevaisuudessa meta aikoo myös julkaista useita vertailuarvoja, mukaan lukien movie gen video bench, movie gen edit bench ja movie gen audio bench, nopeuttaakseen videoiden sukupolven mallien tutkimusta.

movie gen audio -malli on 13b-parametrinen malli videon ja tekstistä äänen luomiseen. se pystyy tuottamaan jopa 45 sekuntia korkealaatuista ja tarkkaa ääntä, mukaan lukien äänitehosteet ja musiikkia, ja synkronoidaan videon kanssa.

malli ottaa käyttöön generatiivisen mallin, joka perustuu flow matchingiin ja diffuusiomuuntajan (dit) malliarkkitehtuuriin, ja lisää ehdollisia moduuleja ohjauksen aikaansaamiseksi.

jopa metan tutkimusryhmä esitteli äänenlaajennusteknologian, jonka avulla malli voi tuottaa yhtenäisen äänen alkuperäisen 45 sekunnin rajan yli. tämä tarkoittaa, että malli voi tuottaa vastaavan äänen riippumatta siitä, kuinka pitkä video on.

tim brooks, openai soran johtaja, ilmoitti eilen virallisesti eroavansa ja liittyi google deepmind -palveluun, mikä taas hämärsi sora-projektin epävarmaa tulevaisuutta.

bloombergin mukaan meta vice president connor hayes sanoi, ettei meta movie genillä ole tällä hetkellä erityisiä tuotesuunnitelmia. hayes paljasti merkittävän syyn julkaisun viivästymiseen.

meta movie gen käyttää tällä hetkellä tekstikehotteita videon luomiseen, joka vaatii usein kymmeniä minuutteja odottamista, mikä vaikuttaa suuresti käyttökokemukseen.

meta toivoo voivansa edelleen tehostaa videontuotantoa ja käynnistää videopalvelun mobiilipäätelaitteessa mahdollisimman pian vastatakseen paremmin kuluttajien tarpeisiin.

itse asiassa, jos katsomme tuotteen muotoa,meta movie genin toiminnallinen suunnittelu keskittyy olemaan suuri ja kattavaei ole "ontuvaa jalkaa" kuten muut videomallit.

näkyvin puute on, että sillä on sama "futuurin" maku kuin soralla.

ihanne on hyvin täynnä, todellisuus on hyvin laiha.

voit sanoa, että aivan kuten sora on tällä hetkellä ohittamassa suuret kotimaiset mallit, meta movie genin lanseerauksen myötä kilpailutilanne videoiden luomisen alalla voi taas muuttua.

mutta ainakin toistaiseksi metan maalaama piirakka riittää ihmisille nieltäväksi.