nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Vous vous souvenez de l'année dernière, Meta a publié Segment Anything (SAM) ?

C'est utiliséImage divisée modèle. Auparavant, pour différents types d'objets, il y avait des murs entre les modèles de segmentation. Par exemple, un modèle capable de segmenter les porcs et les chiens ne serait probablement pas capable de segmenter les pommes et les poires. . .

Dès la sortie de SAM, on l'appelait « tout diviser », et beaucoup de gens l'appelaientLe domaine de la vision par ordinateur est sur le point d’être bouleversé。

C'est en effet exactement comme le nom. Il peut segmenter le même objet de l'image, qu'il soit familier ou non, et il peut également couper n'importe quel objet de l'image.

À l’époque de sa première sortie, la nouvelle était assez rare dans l’industrie. En quelques jours, de nombreuses vidéos ont été postées sur le site B, expliquant aux internautes comment déployer SAM.

De plus, les internautes utilisent SAM pour se faire coiffer les uns après les autres, et même changer de couleur de cheveux est considéré comme un niveau d'entrée.

Vous pouvez également attacher vos cheveux blonds ou leur donner une dreadlock.

Cela peut également être géré de manière constante dans le domaine de la mode. Non seulement la veste peut être changée, mais aussi l'usure intérieure peut être changée à volonté.

Même Jim Fan, un scientifique en intelligence artificielle chez Nvidia, utilise " Heure GPT-3 » pour le décrire.

Et ces derniers jours, Meta a annoncé la sortie de la deuxième génération de SAM.

Cette fois, vous pouvez non seulement éditer des images, mais également des vidéos, et les capacités sont plus puissantes et plus flexibles que la génération précédente.

Plus important encore, Xiao Zha est toujours une bonne personne qui le fera jusqu'au bout, et SAM2 est également open source et gratuit. La démo a également été annoncée et vous pouvez y jouer sur le site officiel. Shichao l'a également essayé et a trouvé que l'effet était vraiment bon.

En ce qui concerne la précision du détourage vidéo, SAM2 peut déjà être appeléChoisissez partout où vous cliquez.

Nous avons d'abord mis en ligne une vidéo d'"un groupe de poissons nageant dans l'eau", puis vous pouvez la faire fonctionner directement en sélectionnant la cible que vous souhaitez choisir.

Et si vous estimez qu'il y a trop de cibles à supprimer, vous pouvez également cliquer sur le bouton "Supprimer".Retirez l'excédent, par exemple, Shichao peut sélectionner avec précision les marques de l'un des poissons.

Cliquez sur Suivant pour voir l'effet. Non seulement il a identifié avec précision les marques sur le poisson spécifié, mais même s'il sortait du cadre, les marques sélectionnées ne se sont pas répandues sur les autres poissons.

Regardons la vidéo du skateboard. Si vous souhaitez sélectionner les personnes qui y participent individuellement, SAM2 peut également le faire du bout des doigts.

Non seulement ça, même s'il y en a dans la vidéoDe nombreux objets similaires , SAM2 ne sera pas confus lors de la sélection. Comme ce jeu de changement de tasse, peu importe la façon dont vous le modifiez, il reste à portée de SAM2.

Et parmi le tas de petites boules qui se ressemblent toutes, il peut aussi suivre la boule que nous avons sélectionnée.

Dans ce cas, rendons SAM2 un peu plus difficile. N'y a-t-il pas eu les Jeux Olympiques de Paris récemment ? Tout le monde devrait prêter attention à notre compétition de tennis de table « sport national ».

Téléchargez ensuite une vidéo de Xiaopang et Zhang Benzhi jouant l'un contre l'autre et voyez si SAM2 peut extraire les balles de tennis de table « à grande vitesse » à l'intérieur.

Je ne m'attendais pas à ce qu'il ait réellement deux pinceaux, même siL'écran a été coupé à mi-chemin, lorsque la balle de ping-pong revient, SAM2 peut la capturer avec précision.

De plus, dans cette démo publiée par Meta, on peut également surveiller la vidéoEffectuez quelques modifications simples, en plus de modifier les objets sélectionnés, vous pouvez également ajuster l'arrière-plan.

Par exemple, dans le jeu ci-dessus, la World Super LeagueL'arrière-plan est effacé , et a également ajouté un projecteur au processus de leur bataille. Du téléchargement de la vidéo à l’exportation de la vidéo, cela a pris moins de cinq minutes.

Si vous pensez que la balle de tennis de table n'est pas assez visible, nous pouvons également l'utiliserPasser au package d'émoticônes, ou donnez-lui une emphase distincte.

S'il y a un fond, nous pouvons aussi le donnerAjouter du texte et des filtresQuelque chose comme ca.

Cependant, il arrive encore que SAM2 se retourne. Par exemple, dans cette vidéo, celle choisie par la World Super League est une roue à l'avant du skateboard.

Mais lorsque le skateboard a disparu et est revenu, SAM2 s'est coincé dans les roues à l'arrière.

De plus, lorsque la vitesse est trop rapide, les détails de la vidéo coupée par SAM2 seront également médiocres.un peu dur。

Mais ce ne sont pas de gros problèmes. SAM2 lui-même les a également pris en compte, ce qui nous donne également la possibilité de corriger et de trouver des erreurs.Réglage manuel。

Shichao a également demandé aux amis qui effectuent la post-production de la mauvaise vidéo de critique. Ils utilisent généralement le roto-pinceau fourni avec AE pour découper la vidéo. Bien qu'elle puisse être automatiquement reconnue, la première image doit encore être découpée. manuellement.

En plus du processus de rendu, le découpage d'une vidéo d'une minute prend généralement dix à vingt minutes. Si l'objet que vous souhaitez sélectionner sort du cadre pendant le processus, vous devrez sélectionner à nouveau ce cadre à votre retour.

En comparaison, du moins en termes d'efficacité du montage vidéo,SAM2 C'est une décision difficile.

Quoi qu’il en soit, en seulement quelques jours, UP a commencé à apparaître sur le site B.Utilisez SAM2 pour combiner avec d'autres IATutoriels, vidéos sur l'habillage, le changement d'arrière-plan, tout.

Auparavant, Meta utilisait également les fonctions de la génération SAM sur son propre réseau social INS pour ajouter des arrière-plans aux images. Peut-être que les fonctions SAM2 seront intégrées dans INS à l'avenir.

Mais ne pensez pas que SAM ne peut être utilisé que dans les domaines de la retouche photo et du montage vidéo. Il a également de nombreuses utilisations dans d’autres domaines.

Par exemple, la génération SAM repose uniquement surIdentifier les imagesGrâce à ses capacités, il a déjà pénétré les domaines de la mer, de l'environnement et de la médecine.

Je n'invente aucun mensonge, c'est tout ce qu'a dit Meta. Au cours de l'année écoulée, SAM a non seulement pu analyser les récifs coralliens à l'aide d'images, mais peut également utiliser des images satellite pour les secours en cas de catastrophe, même dans le domaine médical. il peut également segmenter les images cellulaires pour aider à détecter le cancer de la peau.

Mais désormais, le SAM2 mis à niveau peut non seulement effectuer toutes ces tâches, mais également proposer de nouvelles utilisations.

Par exemple, cela peut aider avec certaines IA vidéo et la conduite autonomedonnées d'entraînementFaites des annotations.

Un peu plus avancé, à partir de la vidéo prise par le drone,Traquer les animaux en voie de disparition, pour aider lors du diagnostic et du traitementPositionnement de la caméra laparoscopiqueles zones, etc., sont autant de tâches que SAM2 peut effectuer.

Certains internautes imaginatifs ont déclaré sur X que SAM2 pourrait également rendre les appareils XR plus précis. . .

Bref, à l'heure où le développement des modèles génératifs est en plein essor, Meta peut aussi attirer l'attention de tous sur SAM, ce qui peut être considéré comme une preuve secondaire de sa force. Shichao a également hâte d’utiliser un jour cette fonction sur les plateformes sociales.

Oh, au fait, lorsque SAM2 est sorti il ​​y a deux jours, Xiao Zha s'est également manifesté pour expliquer le truc "open source".

Ce n'est pas seulement par gentillesse, mais après l'open source, avec l'aide de tous, cela peut aussi aiderConstruisez votre propre écosystème。

Quoi qu’il en soit, les autres fabricants devraient s’inspirer de ce modèle.

Ecrire un article:écureuil

modifier:Jiang Jiang

Editeur artistique：Xuan Xuan

Images, sources：

Meta, JO de Paris