noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

¿Recuerda que el año pasado Meta lanzó Segment Anything (SAM)?

Esta usadoImagen dividida modelo. Anteriormente, para diferentes tipos de objetos, había paredes entre los modelos de segmentación. Por ejemplo, un modelo que pudiera segmentar cerdos y perros probablemente no podría segmentar manzanas y peras. . .

Tan pronto como salió SAM, se llamó "dividir todo", y mucha gente lo llamóEl campo de la visión por computadora está a punto de verse alterado。

De hecho, es como el nombre. Puede segmentar el mismo objeto de la imagen, ya sea familiar o no, y también puede cortar cualquier objeto en la imagen.

Cuando salió a la luz por primera vez, la noticia era bastante rara en la industria. En unos pocos días, se publicaron muchos videos en el sitio B, enseñando a los internautas cómo implementar SAM.

Además, los internautas usan SAM para arreglarse el cabello uno tras otro, e incluso cambiar el color de su cabello se considera nivel de entrada.

También puedes recoger tu cabello rubio o hacerle una rasta.

También se puede manejar de manera constante en el campo de la moda. No solo se puede cambiar la chaqueta, sino que también se puede cambiar la ropa interior a voluntad.

Incluso Jim Fan, un científico de inteligencia artificial de Nvidia, utiliza " Hora GPT-3 ”para describirlo.

Y apenas en los últimos días, Meta anunció que ya salió la segunda generación de SAM.

Esta vez no sólo puedes editar imágenes, sino también vídeos, y las capacidades son más potentes y flexibles que la generación anterior.

Más importante aún, Xiao Zha sigue siendo una buena persona que lo hará hasta el final, y SAM2 también es de código abierto y de uso gratuito. También se ha anunciado la demostración y puedes jugarla en el sitio web oficial. Shichao también lo probó y descubrió que el efecto fue realmente bueno.

En lo que respecta a la precisión del recorte de vídeo, SAM2 ya puede denominarseElige donde hagas clic.

Primero subimos un video de "un grupo de peces nadando en el agua" y luego puedes operarlo directamente seleccionando el objetivo que deseas elegir.

Y si cree que hay demasiados objetivos para eliminar, también puede hacer clic en el botón "Eliminar".quitar el exceso, por ejemplo, Shichao puede seleccionar con precisión las marcas de uno de los peces.

Haga clic en Siguiente para ver el efecto. No solo identificó con precisión las marcas en el pez especificado, sino que incluso si se salió del marco, las marcas seleccionadas no se extendieron a otros peces.

Miremos el vídeo de skate. Si quieres seleccionar a las personas que aparecen en él individualmente, SAM2 también puede hacerlo al alcance de tu mano.

No solo eso, incluso si hay en el video.Muchos objetos similares , SAM2 no se confundirá al recoger. Al igual que este juego de cambiar tazas, no importa cómo lo cambies, todavía está dentro del alcance de SAM2.

Y entre el montón de bolitas que parecen todas iguales, también puede seguir a la pelota que seleccionamos.

En este caso, hagamos que SAM2 sea un poco más difícil. ¿No se celebraron recientemente los Juegos Olímpicos de París? Todo el mundo debería prestar atención a nuestra competición de tenis de mesa "deporte nacional".

Luego cargue un video de Xiaopang y Zhang Benzhi jugando uno contra el otro y vea si SAM2 puede sacar las pelotas de tenis de mesa para "correr a alta velocidad" del interior.

No esperaba que en realidad tuviera dos cepillos, incluso siLa pantalla se cortó a mitad de camino., cuando la pelota de ping pong regresa, SAM2 puede capturarla con precisión.

Además, en esta demo lanzada por Meta, también podemos monitorizar el vídeo.Haz algunas ediciones simples, además de cambiar los objetos seleccionados, también puedes ajustar el fondo.

Por ejemplo, en el juego anterior, la Superliga MundialEl fondo se borra , y también agregó un foco de atención al proceso de su batalla. Desde subir el vídeo hasta exportarlo, tomó menos de cinco minutos.

Si crees que la pelota de tenis de mesa no llama la atención, también podemos usarla.Cambiar al paquete de emoticonos, o darle un énfasis separado.

Si hay antecedentes, también podemos darlos.Agregar texto y filtrosAlgo como eso.

Sin embargo, todavía hay ocasiones en las que SAM2 vuelca. Por ejemplo, en este vídeo, la elegida por la Superliga Mundial es una rueda en la parte delantera del monopatín.

Pero cuando la patineta se perdió de vista y regresó, SAM2 de alguna manera se quedó atascado en las ruedas de atrás.

Además, cuando la velocidad es demasiado rápida, los detalles del vídeo recortado por SAM2 también seránun poco áspero。

Pero estos no son grandes problemas. El propio SAM2 también los ha considerado, por lo que también nos brinda oportunidades para corregir y encontrar errores.Ajuste manual。

Shichao también preguntó a los amigos que están haciendo la postproducción del video de mala crítica. Generalmente usan el cepillo roto que viene con AE para recortar el video. Aunque se puede reconocer automáticamente, el primer fotograma aún debe recortarse. a mano.

Además del proceso de renderizado, normalmente se necesitan diez o veinte minutos para recortar un vídeo de un minuto. Si el objeto que deseas seleccionar se sale del marco durante el proceso, tendrás que seleccionar ese marco nuevamente cuando regreses.

En comparación, al menos en términos de eficiencia de la edición de vídeo,SAM2 Es una decisión difícil.

De todos modos, en apenas unos días, UP ha comenzado a aparecer en el sitio B.Utilice SAM2 para combinar con otra IATutoriales, vídeos sobre cómo disfrazarse, cambio de fondo, todo.

Anteriormente, Meta también utilizaba las funciones de la generación SAM en su propio INS de redes sociales para agregar fondos a las imágenes. Quizás las funciones de SAM2 se incorporen al INS en el futuro.

Pero no creas que SAM sólo se puede utilizar en los campos de la edición de fotografías y la edición de vídeos. También tiene muchos usos en otros campos.

Por ejemplo, la generación SAM se basa únicamente enIdentificar imágenesCon sus capacidades, ya ha incursionado en los campos del mar, el medio ambiente y la medicina.

No estoy inventando mentiras, esto es todo lo que dijo Meta. El año pasado, SAM no solo pudo analizar los arrecifes de coral a través de imágenes, sino que también puede utilizar imágenes de satélite para ayuda en casos de desastre. También puede segmentar imágenes de células para ayudar a detectar el cáncer de piel.

Pero ahora el SAM2 actualizado no sólo puede realizar todas estas tareas, sino que también ofrece algunos usos nuevos.

Por ejemplo, puede ayudar con algunos videos de IA y conducción autónoma.datos de entrenamientoHacer anotaciones.

Un poco más avanzado, a partir del vídeo captado por el dron,Seguimiento de animales en peligro de extinción, para ayudar durante el diagnóstico y el tratamiento.Colocación de la cámara laparoscópicaáreas, etc., son todas tareas que SAM2 puede realizar.

Algunos internautas imaginativos dijeron en X que SAM2 también podría hacer que los dispositivos XR sean más precisos. . .

En resumen, en un momento en que el desarrollo de modelos generativos está en auge, Meta también puede llamar la atención de todos sobre SAM, lo que puede considerarse como una prueba secundaria de su fortaleza. Shichao también espera utilizar esta función en las plataformas sociales algún día.

Ah, por cierto, cuando se lanzó SAM2 hace dos días, Xiao Zha también se adelantó para explicar el tema del "código abierto".

Esto no es solo por amabilidad, sino que después del código abierto, con la ayuda de todos, también puede ayudar.Construye tu propio ecosistema。

Pero pase lo que pase, otros fabricantes deberían aprender de este patrón.

Escribir un artículo:ardilla

editar:Jiang Jiang

editor de arte:Xuanxuan

Imágenes, fuentes：

Meta, Juegos Olímpicos de París