uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Muistatko viime vuonna, Meta julkaisi Segment Anything (SAM)?

Sitä käytetäänJaa kuva malli. Aikaisemmin erityyppisten esineiden välillä oli seinät segmentointimallien välillä. Esimerkiksi sikoja ja koiria segmentoiva malli ei todennäköisesti pystyisi segmentoimaan omenoita ja päärynöitä. . .

Heti kun SAM ilmestyi, sitä kutsuttiin "jakaa kaikki" ja monet kutsuivat sitäTietokoneen näkökenttä on pian häiriintynyt。

Se on todellakin kuten nimi Se voi segmentoida saman kohteen kuvasta, olipa se tuttu tai ei, ja se voi myös leikata minkä tahansa kuvassa olevan kohteen.

Sen ensimmäisen ilmestymisen aikana uutiset olivat alalla melko harvinaisia. Muutaman päivän sisällä sivustolle B julkaistiin monia videoita, joissa opetettiin verkkovieraita SAM:n käyttöönottoa.

Lisäksi netilaiset käyttävät SAM:ia hiustensa hoitamiseen peräkkäin, ja jopa hiusten värin vaihtamista pidetään lähtötasona.

Voit myös sitoa vaaleat hiuksesi tai laittaa niille rastatukka.

Sitä voidaan myös käsitellä vakaasti muotikentällä Takin vaihtamisen lisäksi myös sisäistä kulutusta voidaan vaihtaa.

Jopa Jim Fan, Nvidian tekoälytutkija, käyttää " GPT-3 aika " kuvailla sitä.

Ja juuri viime päivinä Meta ilmoitti, että SAM:n toinen sukupolvi on julkaistu.

Tällä kertaa ei voi muokata vain kuvia, vaan myös videoita, ja ominaisuudet ovat vahvempia ja joustavampia kuin edellisessä sukupolvessa.

Vielä tärkeämpää on, että Xiao Zha on edelleen hyvä henkilö, joka tekee sen loppuun asti, ja SAM2 on myös avoimen lähdekoodin ja vapaasti käytettävä. Demo on myös julkistettu, ja voit pelata sen virallisella verkkosivustolla. Shichao myös kokeili sitä ja huomasi, että vaikutus oli todella hyvä.

Mitä tulee videoleikkeen tarkkuuteen, SAM2 voidaan jo kutsuaValitse missä tahansa napsautat.

Latasimme ensin videon "ryhmästä kaloja uimassa vedessä", jonka jälkeen voit käyttää sitä suoraan valitsemalla kohteen, jonka haluat valita.

Ja jos sinusta tuntuu, että poistettavia kohteita on liian monta, voit myös napsauttaa "Poista" -painikettaPoista ylimääräinenEsimerkiksi Shichao voi valita tarkasti yhden kalan merkinnät.

Napsauta Seuraava nähdäksesi vaikutuksen. Se ei ainoastaan ​​tunnistanut tarkasti määritetyn kalan merkinnät, mutta vaikka se loppuisi kehyksestä, valitut merkit eivät osuneet muihin kaloihin.

Katsotaanpa rullalautailuvideota, jos haluat valita sen henkilöt yksitellen, SAM2 voi tehdä sen myös käden ulottuvilla.

Ei vain sitä, vaikka se olisi videossaMonet samankaltaiset esineet , SAM2 ei hämmentyi poimittaessa. Kuten tämä kupinvaihtopeli, riippumatta siitä, kuinka muutat sitä, se on edelleen SAM2:n alueella.

Ja pienten pallojen joukossa, jotka kaikki näyttävät samalta, se voi myös seurata valitsemaamme palloa.

Tehdään tässä tapauksessa SAM2:sta hieman vaikeampi. Eikö Pariisin olympialaiset ole hiljattain nähty.

Lataa sitten video Xiaopangista ja Zhang Benzhistä pelaamassa toisiaan vastaan ​​ja katso, pystyykö SAM2 kaivaa esiin "nopeasti juoksevat" pöytätennispallot sisällä.

En odottanut, että siinä on kaksi sivellintä, vaikkaNäyttö leikattiin puolivälissä, kun pingispallo tulee takaisin, SAM2 voi siepata sen tarkasti.

Lisäksi tässä Metan julkaisemassa demossa voimme myös seurata videotaTee joitain yksinkertaisia ​​muokkauksia, voit muuttaa valittujen kohteiden lisäksi myös taustaa.

Esimerkiksi yllä olevassa pelissä World Super LeagueTausta poistetaan , ja lisäsi myös valokeilan heidän taistelunsa prosessiin. Videon lataamisesta videon vientiin kesti alle viisi minuuttia.

Jos pöytätennispallo ei mielestäsi ole tarpeeksi näkyvä, voimme myös käyttää sitäVaihda hymiöpakettiintai korosta sitä erikseen.

Jos on taustaa, voimme myös antaa senLisää tekstiä ja suodattimiaJotain sellaista.

Silti on aikoja, jolloin SAM2 kaatuu. Esimerkiksi tässä videossa World Super Leaguen valitsema pyörä on rullalaudan etuosassa.

Mutta kun rullalauta katosi näkyvistä ja tuli takaisin, SAM2 jäi jotenkin kiinni takapyöriin.

Myös kun nopeus on liian nopea, myös SAM2:n leikkaaman videon yksityiskohdat ovat huonoja.vähän karkea。

Mutta nämä eivät ole suuria ongelmia, myös SAM2 on itse huomioinut nämä, joten se tarjoaa meille myös mahdollisuuksia korjata ja löytää virheitä.Manuaalinen säätö。

Shichao kysyi myös ystäviltä, ​​jotka tekevät huonon arvosteluvideon jälkituotantoa. He käyttävät yleensä AE:n mukana tulevaa rotoharjaa videon leikkaamiseen. Vaikka se voidaan tunnistaa automaattisesti, ensimmäinen kuva on silti leikattava käsin.

Renderöintiprosessin lisäksi minuutin videon leikkaamiseen kuluu yleensä kymmenen tai kaksikymmentä minuuttia. Jos kohde, jonka haluat poimia, poistuu kehyksestä prosessin aikana, sinun on poimittava se kehys uudelleen, kun palaat.

Vertailun vuoksi, ainakin videoeditoinnin tehokkuuden kannalta,SAM2 Se on vaikea päätös.

Joka tapauksessa vain muutamassa päivässä UP on alkanut ilmestyä sivustolle B.Käytä SAM2:ta yhdistääksesi muiden tekoälyjen kanssaTutoriaaleja, videoita pukeutumisesta, taustan vaihtamisesta, kaikesta.

Aiemmin Meta käytti SAM-sukupolven toimintoja myös omassa sosiaalisen median INS:ssä taustan lisäämiseen kuviin. Ehkä SAM2-toiminnot sisällytetään tulevaisuudessa INS:ään.

Mutta älä usko, että SAM:ia voidaan käyttää vain valokuvien muokkauksen ja videoeditoinnin aloilla.

Esimerkiksi SAM-sukupolvi luottaa yksinomaanTunnista kuvatOminaisuuksiensa ansiosta se on jo tullut merenkulun, ympäristön ja lääketieteen aloille.

En keksi mitään valheita, nämä ovat kaikki, mitä Meta sanoi. Viime vuoden aikana SAM ei ole vain pystynyt analysoimaan koralliriuttoja kuvien avulla, vaan se voi myös käyttää satelliittikuvia katastrofiavussa. se voi myös segmentoida solukuvia ihosyövän havaitsemiseksi.

Mutta nyt päivitetty SAM2 ei voi vain suorittaa kaikkia näitä tehtäviä, vaan myös keksiä uusia käyttötapoja.

Se voi auttaa esimerkiksi video-AI:ssa ja autonomisessa ajamisessaharjoitustiedotTee huomautuksia.

Hieman edistyneempää, dronin ottamalta videolta,Uhanalaisten eläinten seuranta, auttaa diagnoosin ja hoidon aikanaLaparoskooppisen kameran sijoittaminenalueet jne. ovat kaikki tehtäviä, jotka SAM2 voi tehdä.

Jotkut mielikuvitukselliset nettimiehet sanoivat X:ssä, että SAM2 saattaa myös tehdä XR-laitteista tarkempia. . .

Lyhyesti sanottuna aikana, jolloin generatiivisten mallien kehitys kukoistaa, Meta voi myös kiinnittää kaikkien huomion SAM:iin, jota voidaan pitää sivutodisteena sen vahvuudesta. Shichao odottaa myös voivansa käyttää tätä toimintoa jonain päivänä sosiaalisilla alustoilla.

Ai, muuten, kun SAM2 julkaistiin kaksi päivää sitten, Xiao Zha tuli myös selittämään "avoimen lähdekoodin" asiaa.

Tämä ei ole vain ystävällisyydestä, vaan avoimen lähdekoodin jälkeen, kaikkien avulla, se voi myös auttaaRakenna oma ekosysteemisi。

Mutta mitä tahansa, muiden valmistajien pitäisi oppia tästä mallista.

Kirjoita artikkeli:orava

muokata: Jiang Jiang

Taidetoimittaja: Xuanxuan

Kuvia, lähteitä：

Meta, Pariisin olympialaiset