2024-08-06
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
작년에 Meta가 SAM(Segment Anything)을 출시한 것을 기억하시나요?
사용된다이미지 분할 모델. 이전에는 다양한 유형의 객체에 대해 분할 모델 사이에 벽이 있었습니다. 예를 들어 돼지와 개를 분할할 수 있는 모델은 사과와 배를 분할할 수 없었을 가능성이 높습니다. . .
SAM이 나오자마자 "모든 것을 나누다"라고 불리었고 많은 사람들이 그것을 불렀습니다.컴퓨터 비전 분야가 곧 붕괴될 것입니다.。
이름 그대로, 낯익은 것과 상관없이 그림에서 같은 물체를 분할할 수 있고, 그림 속의 어떤 물체라도 잘라낼 수 있습니다.
처음 나왔을 당시 업계에서는 이 소식이 꽤 드물었습니다. 며칠 내에 네티즌들에게 SAM 배포 방법을 가르치는 많은 비디오가 B 사이트에 게시되었습니다.
게다가 네티즌들은 SAM을 이용해 잇달아 머리 손질을 하고 있으며, 머리 색깔을 바꾸는 것조차 초보 수준으로 여겨진다.
금발 머리를 묶거나 향취를 줄 수도 있습니다.
패션 분야에서도 꾸준히 소화할 수 있으며, 재킷은 물론 이너웨어도 마음대로 바꿀 수 있다.
Nvidia의 인공지능 과학자인 Jim Fan도 " GPT-3 시간 "라고 설명합니다.
그리고 바로 지난 며칠 동안 Meta는 2세대 SAM이 출시되었다고 발표했습니다.
이번에는 사진뿐만 아니라 동영상 편집도 가능하며, 그 기능은 이전 세대보다 더 강력하고 유연해졌습니다.
더 중요한 것은 Xiao Zha는 여전히 끝까지 해낼 수 있는 좋은 사람이고 SAM2도 오픈 소스이며 무료로 사용할 수 있다는 것입니다. 데모 버전도 공개됐으며, 공식 홈페이지에서 플레이할 수 있다. Shichao도 시도해보고 효과가 정말 좋다는 것을 알았습니다.
비디오 클리핑의 정밀도에 관한 한 SAM2는 이미 호출될 수 있습니다.클릭하는 곳을 선택하세요..
먼저 "물속에서 헤엄치는 물고기 떼" 영상을 업로드한 후, 선택하고 싶은 타겟을 선택하여 직접 조작할 수 있습니다.
제거할 대상이 너무 많다고 생각되면 "제거" 버튼을 클릭할 수도 있습니다.초과분을 제거하십시오.예를 들어, Shichao는 물고기 중 하나의 표시를 정확하게 선택할 수 있습니다.
다음을 클릭하면 해당 효과를 확인할 수 있습니다. 지정된 물고기의 표시를 정확하게 식별했을 뿐만 아니라, 프레임을 벗어나도 선택한 표시가 다른 물고기로 흘러가지 않았습니다.
스케이트보드를 타는 영상을 보시죠. 그 안에 있는 사람들을 개별적으로 골라내고 싶다면 SAM2도 손끝으로 할 수 있습니다.
그뿐만 아니라 영상에도 나와있지만비슷한 물건이 많다 , SAM2는 선택할 때 혼동되지 않습니다. 이 컵 바꾸기 게임처럼 어떻게 바꿔도 여전히 SAM2의 범위 내에 있습니다.
그리고 모두 똑같아 보이는 작은 공들 중에서 우리가 선택한 공을 따라갈 수도 있습니다.
그렇다면 SAM2를 좀 더 어렵게 만들어 볼까요? 최근 파리 올림픽이 열리는데요. 모두가 우리의 '국가대표 스포츠' 탁구 대회에 주목해야 할 것 같습니다.
그런 다음 Xiaopang과 Zhang Benzhi가 서로 대결하는 비디오를 업로드하고 SAM2가 내부의 "고속 달리기" 탁구공을 파낼 수 있는지 확인하세요.
실제로 브러시가 두 개 있을 거라고는 예상하지 못했습니다.화면이 중간에 잘렸어요, 탁구공이 다시 돌아오면 SAM2는 이를 정확하게 포착할 수 있습니다.
게다가 Meta가 공개한 이 데모에서는 영상도 모니터링할 수 있습니다.간단한 수정을 해보세요, 선택한 개체를 변경하는 것 외에도 배경을 조정할 수도 있습니다.
예를 들어 위 게임에서 월드슈퍼리그는배경이 지워졌네요 , 그리고 그들의 전투 과정에 스포트라이트를 추가했습니다. 영상 업로드부터 영상 내보내기까지 5분도 채 걸리지 않았습니다.
탁구공이 눈에 띄지 않는다고 생각하시면 이용하셔도 됩니다이모티콘 패키지로 변경, 또는 별도로 강조하세요.
배경이 있으면 올려도 됩니다텍스트 및 필터 추가그런 것.
하지만 여전히 SAM2가 롤오버되는 경우가 있습니다. 예를 들어 이 영상에서 World Super League가 선택한 것은 스케이트보드 앞쪽에 있는 바퀴입니다.
그런데 스케이트보드가 시야에서 사라졌다가 다시 돌아오자 SAM2가 왠지 뒷바퀴에 끼어버렸습니다.
또한 속도가 너무 빠르면 SAM2에서 잘라낸 영상의 디테일도 좋지 않습니다.조금 거칠다。
하지만 이는 큰 문제가 아닙니다. SAM2 자체도 이를 고려했기 때문에 실수를 수정하고 찾을 수 있는 기회도 제공합니다.수동 조정。
Shichao는 또한 나쁜 리뷰 비디오의 후반 작업을 수행하는 친구들에게 물었습니다. 그들은 보통 AE와 함께 제공되는 로토 브러시를 사용하여 비디오를 잘라내는 것이 자동으로 인식될 수 있지만 여전히 첫 번째 프레임을 잘라내야 합니다. 수동으로.
렌더링 과정 외에도 1분짜리 비디오를 잘라내는 데 보통 10~20분이 소요됩니다. 고르고 싶은 물체가 작업 도중 프레임 밖으로 나가면 다시 돌아올 때 그 프레임을 다시 골라내야 합니다.
그에 비하면 적어도 영상 편집의 효율성 측면에서는샘2 힘든 결정이에요.
어쨌든 불과 며칠 만에 B사이트에 UP이 나타나기 시작했습니다.SAM2를 사용하여 다른 AI와 결합튜토리얼, 옷 입기, 배경 바꾸기 등 모든 것에 대한 비디오.
이전에 Meta는 자체 소셜 미디어 INS에서 SAM 생성 기능을 사용하여 사진에 배경을 추가했습니다. 아마도 SAM2 기능은 향후 INS에 통합될 것입니다.
하지만 SAM이 사진 편집이나 비디오 편집 분야에만 사용될 수 있다고 생각하지 마세요. 다른 분야에서도 많이 활용됩니다.
예를 들어 SAM 생성은 다음에만 의존합니다.사진 식별그 역량을 바탕으로 이미 해양, 환경, 의학 분야에도 진출했습니다.
거짓말을 하는 것이 아닙니다. SAM은 지난 1년 동안 이미지를 통해 산호초를 분석할 수 있을 뿐만 아니라 의료 분야에서도 위성 이미지를 사용할 수 있다고 말한 것이 전부입니다. 또한 피부암을 감지하는 데 도움이 되도록 세포 이미지를 분할할 수도 있습니다.
그러나 이제 업그레이드된 SAM2는 이러한 모든 작업을 수행할 수 있을 뿐만 아니라 몇 가지 새로운 용도도 제시합니다.
예를 들어 일부 비디오 AI 및 자율 주행에 도움이 될 수 있습니다.훈련 데이터주석을 작성합니다.
조금 더 발전해서 드론으로 촬영한 영상을 보면,멸종위기 동물 추적, 진단 및 치료에 도움을 주기 위해복강경 카메라 위치 지정영역 등은 SAM2가 수행할 수 있는 모든 작업입니다.
일부 상상력이 풍부한 네티즌들은 X에 대해 SAM2가 XR 장치를 더 정확하게 만들 수도 있다고 말했습니다. . .
요컨대, 생성 모델 개발이 호황을 누리고 있는 이 시점에서 Meta는 SAM에 대한 모든 이의 관심을 끌 수도 있는데, 이는 SAM의 강점을 보여주는 측면 증거라고 할 수 있습니다. Shichao는 또한 언젠가 소셜 플랫폼에서 이 기능을 사용할 수 있기를 기대하고 있습니다.
아, 그런데 이틀 전 SAM2가 출시되었을 때 Xiao Zha도 나서서 "오픈 소스"에 대해 설명했습니다.
이는 단지 친절함에서 비롯된 것이 아니라 오픈 소스 이후 모든 사람의 도움으로 도움이 될 수도 있습니다.나만의 생태계 구축。
하지만 무슨 일이 있어도 다른 제조업체들은 이 패턴을 배워야 합니다.
기사 쓰기:다람쥐
편집하다:장지앙
아트 에디터：쉬안쉬안
사진, 출처：
메타, 파리올림픽
