Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Erinnern Sie sich, dass Meta letztes Jahr Segment Anything (SAM) veröffentlicht hat?

Es ist benutztBild teilen Modell. Zuvor gab es für verschiedene Arten von Objekten Trennwände zwischen den Segmentierungsmodellen. Beispielsweise wäre ein Modell, das Schweine und Hunde segmentieren konnte, höchstwahrscheinlich nicht in der Lage, Äpfel und Birnen zu segmentieren. . .

Sobald SAM herauskam, hieß es „Alles teilen“, und viele Leute nannten esDer Bereich Computer Vision steht vor einer Umwälzung。

Es ist in der Tat genau wie der Name, es kann dasselbe Objekt aus dem Bild segmentieren, egal ob bekannt oder nicht, und es kann auch jedes Objekt im Bild ausschneiden.

Als es zum ersten Mal herauskam, waren die Nachrichten in der Branche eher selten. Innerhalb weniger Tage wurden auf Website B viele Videos gepostet, in denen Internetnutzern gezeigt wurde, wie man SAM einsetzt.

Darüber hinaus nutzen Internetnutzer SAM, um ihre Haare nacheinander frisieren zu lassen, und sogar das Ändern der Haarfarbe gilt als Einstiegsmodell.

Sie können Ihre blonden Haare auch zusammenbinden oder mit einem Dreadlock versehen.

Auch im modischen Bereich lässt sich damit gut verfahren. Nicht nur die Jacke lässt sich beliebig wechseln, auch die Innenbekleidung lässt sich beliebig wechseln.

Sogar Jim Fan, ein Wissenschaftler für künstliche Intelligenz bei Nvidia, verwendet „ GPT-3-Zeit “, um es zu beschreiben.

Und erst vor wenigen Tagen gab Meta bekannt, dass die zweite Generation von SAM erhältlich ist.

Dieses Mal können Sie nicht nur Bilder, sondern auch Videos bearbeiten, und die Funktionen sind stärker und flexibler als bei der vorherigen Generation.

Noch wichtiger ist, dass Xiao Zha immer noch ein guter Mensch ist, der es bis zum Ende tun wird, und SAM2 auch Open Source ist und kostenlos verwendet werden kann. Die Demo wurde ebenfalls angekündigt und Sie können sie auf der offiziellen Website spielen. Shichao hat es auch ausprobiert und festgestellt, dass die Wirkung wirklich gut war.

Was die Präzision des Videoausschnitts betrifft, kann SAM2 bereits aufgerufen werdenWählen Sie, wo immer Sie klicken.

Wir haben zuerst ein Video hochgeladen, das „eine Gruppe von im Wasser schwimmenden Fischen“ zeigt. Anschließend können Sie es direkt bedienen, indem Sie das Ziel auswählen, das Sie auswählen möchten.

Und wenn Sie das Gefühl haben, dass zu viele Ziele zum Entfernen vorhanden sind, können Sie auch auf die Schaltfläche „Entfernen“ klickenEntfernen Sie den ÜberschussBeispielsweise kann Shichao die Markierungen eines Fisches genau erkennen.

Klicken Sie auf „Weiter“, um den Effekt zu sehen. Es wurden nicht nur die Markierungen auf dem angegebenen Fisch genau identifiziert, sondern selbst wenn er außerhalb des Rahmens lief, trafen die ausgewählten Markierungen nicht auf andere Fische.

Schauen wir uns das Video zum Skateboarden an. Wenn Sie die Personen darin einzeln auswählen möchten, können Sie dies auch mit SAM2 tun.

Nicht nur das, auch wenn es im Video so istViele ähnliche Objekte , SAM2 wird bei der Auswahl nicht verwirrt. Wie dieses Pokalwechselspiel liegt es immer noch im Bereich von SAM2, egal wie man es ändert.

Und unter den vielen kleinen Bällen, die alle gleich aussehen, kann es auch dem Ball folgen, den wir ausgewählt haben.

In diesem Fall machen wir SAM2 etwas schwieriger. Gibt es nicht kürzlich die Olympischen Spiele in Paris? Jeder sollte auf unseren „Nationalsport“-Tischtenniswettbewerb achten.

Laden Sie dann ein Video hoch, in dem Xiaopang und Zhang Benzhi gegeneinander spielen, und sehen Sie, ob SAM2 die „Hochgeschwindigkeits-Lauf“-Tischtennisbälle darin ausgraben kann.

Ich hätte nicht erwartet, dass es tatsächlich zwei Bürsten hat, auch wennDer Bildschirm wurde in der Mitte abgeschnittenWenn der Tischtennisball wieder zurückkommt, kann SAM2 ihn präzise einfangen.

Darüber hinaus können wir in dieser von Meta veröffentlichten Demo auch das Video überwachenNehmen Sie einige einfache Änderungen vorNeben der Änderung der ausgewählten Objekte können Sie auch den Hintergrund anpassen.

Zum Beispiel im obigen Spiel, der World Super LeagueDer Hintergrund wird gelöscht , und fügte auch dem Prozess ihres Kampfes ein Schlaglicht hinzu. Vom Hochladen des Videos bis zum Exportieren des Videos dauerte es weniger als fünf Minuten.

Wenn Ihnen der Tischtennisball nicht auffällig genug ist, können wir ihn auch verwendenWechseln Sie zum Emoticon-Paket, oder geben Sie ihm eine separate Betonung.

Wenn es einen Hintergrund gibt, können wir ihn auch angebenFügen Sie Text und Filter hinzuSo ähnlich.

Es gibt jedoch immer noch Zeiten, in denen SAM2 umkippt. In diesem Video ist beispielsweise das von der World Super League gewählte Rad an der Vorderseite des Skateboards.

Doch als das Skateboard außer Sichtweite geriet und zurückkam, blieb SAM2 irgendwie in den Rädern hinten stecken.

Wenn die Geschwindigkeit zu hoch ist, sind außerdem die Details des von SAM2 geschnittenen Videos schlecht.etwas rau。

Da es sich hierbei jedoch nicht um große Probleme handelt, hat SAM2 diese auch berücksichtigt und bietet uns daher auch die Möglichkeit, Fehler zu korrigieren und zu finden.Manuelle Einstellung。

Shichao hat auch die Freunde gefragt, die die Postproduktion des schlechten Rezensionsvideos durchführen. Sie verwenden normalerweise den mit AE gelieferten Roto-Pinsel, um das Video auszuschneiden. Obwohl es automatisch erkannt werden kann, muss das erste Bild noch ausgeschnitten werden manuell.

Zusätzlich zum Rendervorgang dauert das Ausschneiden eines einminütigen Videos normalerweise zehn bis zwanzig Minuten. Wenn das Objekt, das Sie auswählen möchten, während des Vorgangs den Rahmen verlässt, müssen Sie diesen Rahmen bei Ihrer Rückkehr erneut auswählen.

Im Vergleich dazu, zumindest was die Effizienz der Videobearbeitung angeht,SAM2 Es ist eine schwere Entscheidung.

Wie auch immer, in nur wenigen Tagen ist UP auf Seite B aufgetaucht.Verwenden Sie SAM2 zur Kombination mit anderer KITutorials, Videos zum Verkleiden, Ändern des Hintergrunds, alles.

Zuvor nutzte Meta auch die Funktionen der SAM-Generation auf seinem eigenen Social-Media-INS, um Hintergründe zu Bildern hinzuzufügen. Möglicherweise werden SAM2-Funktionen in Zukunft in INS integriert.

Aber denken Sie nicht, dass SAM nur in den Bereichen Fotobearbeitung und Videobearbeitung eingesetzt werden kann. Es hat auch viele Einsatzmöglichkeiten in anderen Bereichen.

Beispielsweise verlässt sich die SAM-Generation ausschließlich aufBilder identifizierenMit seinen Fähigkeiten ist es bereits in die Bereiche Marine, Umwelt und Medizin vorgedrungen.

Ich erfinde keine Lügen, das ist alles, was Meta gesagt hat. Im vergangenen Jahr konnte SAM nicht nur Korallenriffe anhand von Bildern analysieren, sondern kann auch Satellitenbilder für die Katastrophenhilfe nutzen. Es kann auch Zellbilder segmentieren, um Hautkrebs zu erkennen.

Doch nun kann der aufgerüstete SAM2 nicht nur all diese Aufgaben erledigen, sondern wartet auch mit einigen neuen Einsatzmöglichkeiten auf.

Es kann beispielsweise bei Video-KI und autonomem Fahren hilfreich seinTrainingsdatenMachen Sie Anmerkungen.

Etwas fortgeschrittener, aus dem von der Drohne aufgenommenen Video,Aufspüren gefährdeter Tiere, um bei der Diagnose und Behandlung zu helfenPositionierung der laparoskopischen KameraBereiche usw. sind alles Aufgaben, die SAM2 erledigen kann.

Einige einfallsreiche Internetnutzer sagten auf X, dass SAM2 auch XR-Geräte genauer machen könnte. . .

Kurz gesagt: In einer Zeit, in der die Entwicklung generativer Modelle boomt, kann Meta auch die Aufmerksamkeit aller auf SAM lenken, was als Nebenbeweis seiner Stärke angesehen werden kann. Shichao freut sich darauf, diese Funktion eines Tages auch auf sozialen Plattformen nutzen zu können.

Übrigens, als SAM2 vor zwei Tagen veröffentlicht wurde, meldete sich auch Xiao Zha, um die Sache mit der „Open Source“ zu erklären.

Dies geschieht nicht nur aus Freundlichkeit, sondern nach Open Source kann es mit der Hilfe aller auch helfenBauen Sie Ihr eigenes Ökosystem auf。

Aber auf jeden Fall sollten andere Hersteller aus diesem Muster lernen.

Einen Artikel schreiben:Eichhörnchen

bearbeiten:Jiang Jiang

Kunstredakteur:Xuanxuan

Bilder, Quellen：

Meta, Olympische Spiele in Paris