Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Помните, в прошлом году Meta выпустила Segment Anything (SAM)?

Это использованоРазделить изображение модель. Раньше для разных типов объектов между моделями сегментации были стены. Например, модель, которая могла сегментировать свиней и собак, скорее всего, не сможет сегментировать яблоки и груши. . .

Как только вышел ЗРК, это называлось "разделить всё", и многие это называлиОбласть компьютерного зрения вот-вот разрушится。

Это действительно так же, как имя. Он может отделить один и тот же объект от изображения, независимо от того, знаком он ему или нет, а также может вырезать любой объект на изображении.

В то время, когда эта новость впервые появилась, в отрасли это было довольно редко. В течение нескольких дней на сайте Б было размещено множество видеороликов, обучающих пользователей сети развертыванию ЗРК.

Более того, пользователи сети используют SAM, чтобы сделать прическу одну за другой, и даже смена цвета волос считается начальным уровнем.

Вы также можете заплести свои светлые волосы в узел или заплести им дред.

С ним также можно постоянно обращаться в сфере моды. Можно не только менять куртку, но и менять внутреннюю одежду по желанию.

Даже Джим Фан, специалист по искусственному интеллекту из Nvidia, использует « время GPT-3 », чтобы описать это.

И буквально на днях Meta объявила, что вышло второе поколение ЗРК.

На этот раз вы можете редактировать не только фотографии, но и видео, а возможности более мощные и гибкие, чем у предыдущего поколения.

Что еще более важно, Сяо Чжа по-прежнему хороший человек, который сделает это до конца, а SAM2 также имеет открытый исходный код и бесплатен для использования. Также анонсирована демо-версия, поиграть в нее можно на официальном сайте. Шичао тоже попробовал и обнаружил, что эффект действительно хороший.

По точности обрезки видео SAM2 уже можно назватьВыбирайте, где бы вы ни щелкнули.

Сначала мы загрузили видео «группы рыб, плавающих в воде», а затем вы можете напрямую управлять им, выбрав цель, которую хотите выбрать.

А если вы чувствуете, что целей для удаления слишком много, вы также можете нажать кнопку «Удалить».Удалите лишнееНапример, Шичао может точно выбрать отметину одной из рыб.

Нажмите «Далее», чтобы увидеть эффект. Он не только точно идентифицировал отметины на указанной рыбе, но даже если они выходили за пределы кадра, выбранные отметки не попадали на другую рыбу.

Давайте посмотрим видео со скейтбордингом. Если вы хотите выделить в нем людей по отдельности, SAM2 также может сделать это у вас под рукой.

Мало того, даже если есть в видеоМного похожих объектов , САМ2 при комплектации не перепутается. Как и эта игра по смене чашек, как бы вы ее ни меняли, она все равно находится в пределах досягаемости SAM2.

И среди множества маленьких шариков, которые выглядят одинаково, он также может следовать за выбранным нами шариком.

В таком случае, давайте немного усложним SAM2, разве недавно не состоялись Олимпийские игры в Париже? Все должны обратить внимание на наши соревнования по «национальному виду спорта» по настольному теннису.

Затем загрузите видео, на котором Сяопан и Чжан Бэньчжи играют друг против друга, и посмотрите, сможет ли SAM2 выкопать внутри «скоростные бегущие» мячи для настольного тенниса.

Я не ожидал, что у него на самом деле две щетки, даже еслиЭкран был разрезан посередине, когда мяч для пинг-понга снова возвращается, SAM2 может точно его поймать.

Кроме того, в этой демо-версии, выпущенной Meta, мы также можем отслеживать видео.Внесите несколько простых изменений, помимо изменения выбранных объектов, вы также можете настроить фон.

Например, в приведенной выше игре Мировая СуперлигаФон стерт , а также добавили внимания к процессу их боя. От загрузки видео до экспорта видео прошло менее пяти минут.

Если вы считаете, что мяч для настольного тенниса недостаточно заметен, мы также можем использовать его.Перейти на пакет смайловили придать этому отдельный акцент.

Если есть фон, мы тоже можем его датьДобавьте текст и фильтрыЧто-то вроде того.

Однако бывают случаи, когда SAM2 переворачивается. Например, в этом видео Всемирная Суперлига выбрала колесо на передней части скейтборда.

Но когда скейтборд скрылся из виду и вернулся, SAM2 каким-то образом застрял в колесах сзади.

Кроме того, при слишком высокой скорости детализация видео, обрезанного SAM2, также будет плохой.немного грубо。

Но это не большие проблемы. Сам SAM2 их тоже учел, поэтому тоже предоставляет нам возможности исправлять и находить ошибки.Ручная регулировка。

Шичао также спросил друзей, которые занимаются постобработкой плохого видео-обзора. Они обычно используют кисть для ротоскопии, идущую в комплекте с AE, чтобы вырезать видео. Хотя оно может распознаваться автоматически, первый кадр все равно приходится вырезать. вручную.

Помимо процесса рендеринга, на вырезание одноминутного видеоролика обычно уходит десять-двадцать минут. Если объект, который вы хотите выбрать, выйдет за пределы кадра во время процесса, вам придется снова выбрать этот кадр, когда вы вернетесь.

Для сравнения, хотя бы с точки зрения эффективности монтажа видео,СЭМ2 Это трудное решение.

Так или иначе, всего через несколько дней UP начал появляться на сайте B.Используйте SAM2 для объединения с другим ИИ.Уроки, видео по переодеванию, смене фона и всему остальному.

Ранее Meta также использовала функции генерации SAM в своей собственной INS в социальных сетях для добавления фона к изображениям. Возможно, в будущем функции SAM2 будут включены в INS.

Но не думайте, что SAM можно использовать только в области редактирования фотографий и видео. Он также имеет множество применений в других областях.

Например, поколение ЗРК опирается исключительно наОпределить картинкиБлагодаря своим возможностям он уже проник в области морской среды, окружающей среды и медицины.

Я не лгу, это все, что сказала Мета. В прошлом году SAM не только смог анализировать коралловые рифы с помощью изображений, но также может использовать спутниковые изображения для оказания помощи при стихийных бедствиях. он также может сегментировать изображения клеток, чтобы помочь обнаружить рак кожи.

Но теперь модернизированный SAM2 может не только выполнять все эти задачи, но и предлагать новые применения.

Например, это может помочь с видеоИИ и автономным вождением.данные обученияСделайте аннотации.

Чуть более продвинуто, из видео, снятого дроном,Отслеживание животных, находящихся под угрозой исчезновения, чтобы помочь во время диагностики и леченияРасположение лапароскопической камерырайоны и т. д. — это все задачи, которые может выполнить SAM2.

Некоторые пользователи сети с богатым воображением сказали на X, что SAM2 также может сделать устройства XR более точными. . .

Короче говоря, в то время, когда разработка генеративных моделей процветает, Meta также может привлечь всеобщее внимание к SAM, что можно рассматривать как побочное доказательство ее силы. Шичао также надеется однажды использовать эту функцию на социальных платформах.

О, кстати, когда два дня назад был выпущен SAM2, Сяо Чжа также выступил, чтобы объяснить суть «открытого исходного кода».

Это не только из доброты, но и после опенсорса, с помощью всех, тоже может помочьСоздайте свою собственную экосистему。

Но несмотря ни на что, другим производителям стоит поучиться на этом примере.

Написать статью:белка

редактировать: Цзян Цзян

Художественный редактор:Сюаньсюань

Фотографии, источники：

Мета, Олимпийские игры в Париже