notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Lembra que no ano passado a Meta lançou Segment Anything (SAM)?

É usadoImagem dividida modelo. Anteriormente, para diferentes tipos de objetos, havia paredes entre os modelos de segmentação. Por exemplo, um modelo que pudesse segmentar porcos e cães provavelmente não seria capaz de segmentar maçãs e peras. . .

Assim que o SAM foi lançado, chamava-se “dividir tudo”, e muita gente chamavaO campo da visão computacional está prestes a ser interrompido。

Na verdade, é exatamente como o nome. Ele pode segmentar o mesmo objeto da imagem, seja familiar ou não, e também pode cortar qualquer objeto da imagem.

Na época em que foi lançado, as notícias eram bastante raras no setor. Em poucos dias, muitos vídeos foram postados no site B, ensinando aos internautas como implantar o SAM.

Além disso, os internautas usam o SAM para fazer o cabelo um após o outro, e até mesmo mudar a cor do cabelo é considerado básico.

Você também pode amarrar seu cabelo loiro ou fazer um dreadlock.

Também pode ser manuseado de forma constante no campo da moda. Não apenas a jaqueta pode ser trocada, mas também o desgaste interno pode ser trocado à vontade.

Até Jim Fan, cientista de inteligência artificial da Nvidia, usa " Horário GPT-3 ”Para descrevê-lo.

E apenas nos últimos dias, Meta anunciou que a segunda geração do SAM foi lançada.

Desta vez você pode não apenas editar fotos, mas também vídeos, e os recursos são mais fortes e flexíveis do que a geração anterior.

Mais importante ainda, Xiao Zha ainda é uma boa pessoa que fará isso até o fim, e o SAM2 também é de código aberto e de uso gratuito. A demo também foi anunciada e você pode jogá-la no site oficial. Shichao também experimentou e descobriu que o efeito era muito bom.

No que diz respeito à precisão do recorte de vídeo, o SAM2 já pode ser chamadoEscolha onde você clicar.

Primeiro carregamos um vídeo de “um grupo de peixes nadando na água” e então você pode operá-lo diretamente selecionando o alvo que deseja escolher.

E se achar que há muitos alvos para remover, você também pode clicar no botão "Remover"Retire o excesso, por exemplo, Shichao pode selecionar com precisão as marcações de um dos peixes.

Clique em Avançar para ver o efeito. Ele não apenas identificou com precisão as marcas no peixe especificado, mas mesmo que saísse do quadro, as marcas selecionadas não atingiram outros peixes.

Vejamos o vídeo do skate. Se você quiser escolher as pessoas individualmente, o SAM2 também pode fazer isso na ponta dos dedos.

Não só isso, mesmo que haja no vídeoMuitos objetos semelhantes , o SAM2 não ficará confuso ao escolher. Assim como este jogo de troca de xícaras, não importa como você o altere, ele ainda estará dentro do alcance do SAM2.

E entre o monte de bolinhas que parecem todas iguais, ela também pode seguir a bola que selecionamos.

Nesse caso, vamos tornar o SAM2 um pouco mais difícil. Não houve recentemente as Olimpíadas de Paris. Todos deveriam estar atentos à nossa competição de tênis de mesa "esportivo nacional".

Em seguida, carregue um vídeo de Xiaopang e Zhang Benzhi jogando um contra o outro e veja se o SAM2 consegue desenterrar as bolas de tênis de mesa de "corrida em alta velocidade" que estão dentro.

Eu não esperava que ele realmente tivesse dois pincéis, mesmo queA tela foi cortada no meio, quando a bola de pingue-pongue volta, o SAM2 pode capturá-la com precisão.

Além disso, nesta demo divulgada pela Meta, também podemos monitorar o vídeoFaça algumas edições simples, além de alterar os objetos selecionados, você também pode ajustar o fundo.

Por exemplo, no jogo acima, a Superliga MundialO fundo é apagado , e também adicionou destaque ao processo de sua batalha. Desde o upload do vídeo até a exportação do vídeo, demorou menos de cinco minutos.

Se você acha que a bola de tênis de mesa não chama a atenção o suficiente, também podemos usá-laMudar para pacote de emoticons, ou dê-lhe uma ênfase separada.

Se houver um histórico, também podemos fornecê-loAdicione texto e filtrosAlgo parecido.

Porém, ainda há momentos em que o SAM2 rola. Por exemplo, neste vídeo, o escolhido pela Superliga Mundial é uma roda na frente do skate.

Mas quando o skate desapareceu e voltou, o SAM2 de alguma forma ficou preso nas rodas traseiras.

Além disso, quando a velocidade for muito rápida, os detalhes do vídeo recortado pelo SAM2 também serãoum pouco áspero。

Mas estes não são grandes problemas, o próprio SAM2 também os considerou, por isso também nos fornece oportunidades para corrigir e encontrar erros.Ajuste manual。

Shichao também perguntou aos amigos que estão fazendo a pós-produção do vídeo de crítica ruim. Eles costumam usar o pincel roto que acompanha o AE para recortar o vídeo. Embora possa ser reconhecido automaticamente, o primeiro quadro ainda precisa ser cortado. manualmente.

Além do processo de renderização, normalmente leva dez ou vinte minutos para cortar um vídeo de um minuto. Se o objeto que você deseja selecionar sair do quadro durante o processo, você terá que selecionar esse quadro novamente quando voltar.

Em comparação, pelo menos em termos de eficiência da edição de vídeo,SAM2 É uma decisão difícil.

De qualquer forma, em poucos dias a UP começou a aparecer no site B.Use SAM2 para combinar com outra IATutoriais, vídeos sobre como se vestir, mudança de plano de fundo, tudo.

Anteriormente, Meta também usava as funções da geração SAM em sua própria mídia social INS para adicionar fundos às imagens. Talvez as funções SAM2 sejam incorporadas ao INS no futuro.

Mas não pense que o SAM só pode ser usado nas áreas de edição de fotos e edição de vídeo. Ele também tem muitos usos em outras áreas.

Por exemplo, a geração SAM depende apenas deIdentificar imagensCom as suas capacidades, já entrou nas áreas marinha, ambiental e médica.

Não estou inventando mentiras, foi tudo o que Meta disse no ano passado, o SAM não só conseguiu analisar recifes de coral por meio de imagens, mas também pode usar imagens de satélite para socorro em desastres. também pode segmentar imagens celulares, para ajudar a detectar câncer de pele.

Mas agora o SAM2 atualizado pode não apenas realizar todas essas tarefas, mas também apresentar alguns novos usos.

Por exemplo, pode ajudar com alguma IA de vídeo e direção autônomadados de treinamentoFaça anotações.

Um pouco mais avançado, a partir do vídeo feito pelo drone,Rastreando animais ameaçados, para ajudar durante o diagnóstico e tratamentoPosicionando a câmera laparoscópicaáreas, etc., são todas tarefas que o SAM2 pode realizar.

Alguns internautas criativos disseram no X que o SAM2 também pode tornar os dispositivos XR mais precisos. . .

Em suma, numa altura em que o desenvolvimento de modelos generativos está em expansão, Meta também pode chamar a atenção de todos para o SAM, o que pode ser considerado como uma prova lateral da sua força. Shichao também espera um dia usar essa função em plataformas sociais.

Ah, a propósito, quando o SAM2 foi lançado há dois dias, Xiao Zha também se apresentou para explicar a coisa do “código aberto”.

Isso não é apenas por gentileza, mas depois do código aberto, com a ajuda de todos, também pode ajudarConstrua seu próprio ecossistema。

Mas não importa o que aconteça, outros fabricantes deveriam aprender com esse padrão.

Escrever um artigo:esquilo

editar:Jiang Jiang

Editor de arte：Xuanxuan

Fotos, fontes：

Meta, Olimpíadas de Paris