notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ricordi l'anno scorso Meta ha rilasciato Segment Anything (SAM)?

È solitoImmagine divisa modello. In precedenza, per diversi tipi di oggetti, esistevano dei muri tra i modelli di segmentazione. Ad esempio, un modello in grado di segmentare maiali e cani molto probabilmente non sarebbe stato in grado di segmentare mele e pere. . .

Appena uscito SAM, si chiamava "divide tutto", e molte persone lo chiamavanoIl campo della visione artificiale sta per essere sconvolto。

In effetti è proprio come il nome. Può segmentare lo stesso oggetto dall'immagine, familiare o meno, e può anche tagliare qualsiasi oggetto nell'immagine.

Nel periodo in cui uscì per la prima volta, la notizia era piuttosto rara nel settore. Nel giro di pochi giorni, sul sito B furono pubblicati molti video che insegnavano agli utenti della rete come implementare SAM.

Inoltre, i netizen usano SAM per farsi i capelli uno dopo l'altro, e anche cambiare il colore dei capelli è considerato entry-level.

Puoi anche legare i tuoi capelli biondi o dargli un dreadlock.

Può anche essere maneggiato stabilmente nel campo della moda. Non solo è possibile cambiare la giacca, ma anche l'abbigliamento interno può essere cambiato a piacimento.

Anche Jim Fan, uno scienziato dell'intelligenza artificiale di Nvidia, usa " Ora GPT-3 "per descriverlo.

E proprio nei giorni scorsi Meta ha annunciato l'uscita della seconda generazione di SAM.

Questa volta non puoi solo modificare le immagini, ma anche i video e le funzionalità sono più potenti e flessibili rispetto alla generazione precedente.

Ancora più importante, Xiao Zha è ancora una brava persona che ce la farà fino alla fine, e anche SAM2 è open source e gratuito. È stata annunciata anche la demo e puoi giocarci sul sito ufficiale. Anche Shichao lo ha provato e ha scoperto che l'effetto era davvero buono.

Per quanto riguarda la precisione del ritaglio video, si può già chiamare SAM2Scegli dove fai clic.

Per prima cosa abbiamo caricato un video di "un gruppo di pesci che nuotano nell'acqua", quindi puoi gestirlo direttamente selezionando l'obiettivo che desideri scegliere.

E se ritieni che ci siano troppi target da rimuovere, puoi anche fare clic sul pulsante "Rimuovi".Rimuovere l'eccesso, ad esempio, Shichao può selezionare con precisione i segni di uno dei pesci.

Fare clic su Avanti per vedere l'effetto. Non solo ha identificato accuratamente i segni sul pesce specificato, ma anche se è uscito dall'inquadratura, i segni selezionati non sono finiti su altri pesci.

Diamo un'occhiata al video dello skateboarding Se vuoi individuare le persone individualmente, SAM2 può farlo anche a portata di mano.

Non solo, anche se c'è nel videoMolti oggetti simili , SAM2 non verrà confuso durante la raccolta. Come questo gioco di cambio della tazza, non importa come lo cambi, è ancora all'interno della portata di SAM2.

E tra il mucchio di palline che sembrano tutte uguali, può anche seguire la pallina che abbiamo selezionato.

In questo caso, rendiamo SAM2 un po' più difficile. Non ci sono state recentemente le Olimpiadi di Parigi Tutti dovrebbero prestare attenzione alla nostra competizione di ping-pong "sport nazionale".

Quindi carica un video di Xiaopang e Zhang Benzhi che giocano l'uno contro l'altro e vedi se SAM2 riesce a estrarre le palline da ping pong "corsa ad alta velocità" all'interno.

Non mi aspettavo che in realtà avesse due spazzole, anche seLo schermo è stato tagliato a metà, quando la pallina da ping pong ritorna di nuovo, SAM2 può catturarla con precisione.

Inoltre, in questa demo rilasciata da Meta, possiamo monitorare anche il videoApporta alcune semplici modifiche, oltre a modificare gli oggetti selezionati, puoi anche regolare lo sfondo.

Ad esempio, nel gioco sopra, la World Super LeagueLo sfondo viene cancellato , e ha anche aggiunto un riflettore al processo della loro battaglia. Dal caricamento del video all'esportazione del video, ci sono voluti meno di cinque minuti.

Se pensi che la pallina da ping pong non sia abbastanza evidente, possiamo anche usarlaPassa al pacchetto emoticono dargli un'enfasi separata.

Se c'è uno sfondo, possiamo anche darloAggiungi testo e filtriQualcosa del genere.

Tuttavia, ci sono ancora momenti in cui SAM2 si ribalta. Ad esempio, in questo video, quella scelta dalla World Super League è una ruota sulla parte anteriore dello skateboard.

Ma quando lo skateboard scomparve dalla vista e ritornò, SAM2 in qualche modo rimase incastrato nelle ruote sul retro.

Inoltre, quando la velocità è eccessiva, lo saranno anche i dettagli del video ritagliato da SAM2un po' ruvido。

Ma questi non sono grossi problemi. Anche SAM2 li ha considerati, quindi ci offre anche l'opportunità di correggere e trovare errori.Regolazione manuale。

Shichao ha anche chiesto agli amici che stanno effettuando la post-produzione del video della recensione negativa. Di solito usano il pennello rotante fornito con AE per ritagliare il video. Sebbene possa essere riconosciuto automaticamente, il primo fotogramma deve ancora essere ritagliato manualmente.

Oltre al processo di rendering, di solito sono necessari dieci o venti minuti per ritagliare un video di un minuto. Se l'oggetto che vuoi selezionare esce dalla cornice durante il processo, dovrai selezionare nuovamente quella cornice quando torni.

In confronto, almeno in termini di efficienza del montaggio video,SAM2 È una decisione difficile.

In ogni caso, nel giro di pochi giorni, UP ha cominciato ad apparire sul sito B.Usa SAM2 per combinarlo con altre IATutorial, video su come travestirsi, cambiare sfondo, tutto.

In precedenza Meta utilizzava le funzioni della generazione SAM anche sui propri social media INS per aggiungere sfondi alle immagini. Forse in futuro le funzioni SAM2 verranno integrate in INS.

Ma non pensare che SAM possa essere utilizzato solo nei campi del fotoritocco e del video editing, ha molti usi anche in altri campi.

Ad esempio, la generazione SAM si basa esclusivamente suIdentificare le immaginiCon le sue capacità è già entrato nei campi della marina, dell’ambiente e della medicina.

Non sto inventando bugie, questo è tutto ciò che ha detto Meta Nell'ultimo anno, SAM non solo è riuscita ad analizzare le barriere coralline attraverso le immagini, ma può anche utilizzare le immagini satellitari per i soccorsi in caso di calamità. può anche segmentare le immagini delle cellule, per aiutare a rilevare il cancro della pelle.

Ma ora il SAM2 aggiornato non solo può svolgere tutte queste attività, ma anche trovare nuovi usi.

Ad esempio, può aiutare con l’intelligenza artificiale video e la guida autonomadati di allenamentoCrea annotazioni.

Un po' più avanzato, dal video ripreso dal drone,Tracciamento degli animali in via di estinzione, per aiutare durante la diagnosi e il trattamentoPosizionamento della telecamera laparoscopicaaree, ecc., sono tutte attività che SAM2 può eseguire.

Alcuni netizen fantasiosi hanno affermato su X che SAM2 potrebbe anche rendere i dispositivi XR più precisi. . .

Insomma, in un momento in cui lo sviluppo di modelli generativi è in forte espansione, Meta può attirare l'attenzione di tutti anche su SAM, che può essere considerata una prova collaterale della sua forza. Shichao non vede l'ora di utilizzare un giorno questa funzione anche sulle piattaforme social.

Oh, a proposito, quando SAM2 è stato rilasciato due giorni fa, anche Xiao Zha si è fatto avanti per spiegare la questione dell '"open source".

Questo non è solo per gentilezza, ma dopo l'open source, con l'aiuto di tutti, può anche aiutareCostruisci il tuo ecosistema。

Ma qualunque cosa accada, altri produttori dovrebbero imparare da questo modello.

Scrivi un articolo:scoiattolo

modificare:JiangJiang

Redattore d'arte:Xuanxuan

Immagini, fonti：

Meta, Olimpiadi di Parigi