ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

昨年、Meta が Segment Anything (SAM) をリリースしたのを覚えていますか?

使用されています分割画像モデル。以前は、さまざまな種類のオブジェクトについて、セグメンテーション モデル間に壁がありました。たとえば、ブタと犬をセグメント化できるモデルは、リンゴと梨をセグメント化できない可能性が高くなります。 。 。

SAM が登場するとすぐに「すべてを分割する」と呼ばれ、多くの人がそれを呼びましたコンピュータービジョンの分野が破壊されようとしている。

確かにその名前のとおり、見慣れているかどうかに関係なく、同じオブジェクトを画像から切り出すことができ、また、画像内の任意のオブジェクトを切り取ることもできます。

それが最初に発表された当時、このニュースは業界では非常にまれでした。数日以内に、SAM の導入方法をネチズンに教える多くのビデオがサイト B に投稿されました。

さらに、ネチズンはSAMを使用して髪を次々と整えており、髪の色を変えることさえ初心者レベルとみなされます。

ブロンドの髪を束ねたり、ドレッドヘアにすることもできます。

ジャケットだけでなくインナーも自在に切り替えられるのでファッション分野でも安定して対応できます。

Nvidia の人工知能科学者であるジム ファンでさえ、「 GPT-3時間 」と説明します。

そしてつい最近、Meta は第 2 世代の SAM がリリースされたと発表しました。

今回は写真だけでなくビデオも編集できるようになり、前世代よりも機能が強力かつ柔軟になりました。

さらに重要なのは、Xiao Zha 氏は今でも最後までやり遂げる善良な人物であり、SAM2 もオープンソースであり、無料で使用できます。体験版も発表されており、公式サイトでプレイ可能です。 Shichaoさんも試してみましたが、効果がとても良かったです。

ビデオクリッピングの精度に関する限り、SAM2 はすでに呼び出すことができます。クリックした場所を選択します。

まずは「水中を泳ぐ魚の群れ」の動画をアップロードし、その後は狙いたいターゲットを選択することで直接操作することができます。

削除するターゲットが多すぎると感じる場合は、「削除」ボタンをクリックすることもできます。余分なものを取り除きますたとえば、Shichao は 1 匹の魚の模様を正確に選択できます。

[次へ] をクリックして効果を確認します。指定した魚のマーキングが正確に識別されただけでなく、たとえフレームからはみ出しても、選択したマーキングが他の魚にかかることはありませんでした。

スケートボードのビデオを見てみましょう。その中の人物を個別に選びたい場合は、SAM2 を使って簡単に行うことができます。

それだけではなく、動画の中でも類似したオブジェクトが多数ある , SAM2はピッキングの際に迷うことはありません。今回のカップチェンジ戦のように、どう変えてもSAM2の範囲内だ。

そして、どれも同じように見える小さなボールの束の中から、私たちが選んだボールを追いかけることもできます。

この場合、SAM2 を少し難しくしてみましょう。最近、パリオリンピックが開催されています。皆さんは私たちの「国技」卓球競技に注目しているはずです。

次に、Xiaopang と Zhang Benzhi が対戦するビデオをアップロードし、SAM2 が内部の「高速走行」卓球ボールを掘り出すことができるかどうかを確認します。

たとえブラシが 2 つもあるとは思いませんでした。画面が途中で切れてしまいました、ピンポン球が再び戻ってくると、SAM2 は正確にそれを捕捉できます。

さらに、Meta が公開したこのデモでは、ビデオをモニタリングすることもできます簡単な編集を行う, 選択したオブジェクトを変更するだけでなく、背景を調整することもできます。

たとえば、上記の試合では、ワールド スーパー リーグが背景が消されてしまう 、彼らの戦いの過程にもスポットライトを当てました。動画のアップロードからエクスポートまでは5分もかかりませんでした。

卓球ボールが目立ちにくいと思われる場合は、卓球ボールを使用することもできます。絵文字パッケージに変更、または別の強調を与えます。

背景があればお付けすることも可能ですテキストとフィルターを追加するそんな感じ。

ただし、SAM2 が横転することがあります。たとえば、このビデオでは、ワールド スーパー リーグが選択したのはスケートボードの前部のホイールです。

しかし、スケートボードが見えなくなって戻ってきたとき、SAM2はどういうわけか後ろの車輪に引っかかってしまいました。

また、速度が速すぎると、SAM2 によって切り取られたビデオの詳細も表示されなくなります。少し荒い。

しかし、これらは大きな問題ではありません。SAM2 自体もこれらを考慮しているため、間違いを修正して見つける機会も提供されます。手動調整。

Shichao さんは、悪いレビュー ビデオのポストプロダクションを行っている友人にも尋ねました。彼らは通常、AE に付属のロト ブラシを使用してビデオを切り出すことができますが、最初のフレームを切り出す必要があります。手動で。

レンダリング プロセスに加えて、通常は 1 分のビデオを切り出すのに 10 ～ 20 分かかります。途中で取り出したいオブジェクトがフレームから外れてしまうと、戻ってきたときに再度そのフレームを取り出しなければなりません。

それに比べて、少なくともビデオ編集の効率という点では、サム2 難しい決断だ。

とにかく、わずか数日でサイトBにUPが出現し始めました。SAM2を使用して他のAIと組み合わせるチュートリアル、ドレスアップ、背景変更などに関するビデオ。

以前、Meta は自社のソーシャル メディア INS でも SAM 世代の機能を使用して写真に背景を追加していましたが、将来的には SAM2 の機能が INS に組み込まれる可能性があります。

しかし、SAM は写真編集とビデオ編集の分野でのみ使用できると考えないでください。他の分野でも多くの用途があります。

たとえば、SAM 生成は次のもののみに依存します。写真を識別するその能力を活かして、すでに海洋、環境、医療の分野にも進出しています。

嘘ではありません。これらはすべてメタが言ったことです。この 1 年で、SAM は画像を通じてサンゴ礁を分析できるだけでなく、医療分野でも衛星画像を利用できるようになりました。細胞画像をセグメント化して、皮膚がんの検出に役立てることもできます。

しかし、アップグレードされた SAM2 は、これらすべてのタスクを実行できるだけでなく、いくつかの新しい用途も考え出すことができます。

たとえば、一部のビデオ AI や自動運転に役立ちます。トレーニングデータ注釈を付けます。

ドローンで撮影した映像から少し進んで、絶滅危惧種の動物の追跡、診断と治療の際に役立ちます腹腔鏡カメラの位置決めエリアなどはすべて SAM2 が実行できるタスクです。

想像力豊かなネチズンの中には、SAM2 によって XR デバイスの精度も向上するかもしれないと X で述べた人もいます。 。 。

つまり、生成モデルの開発が活況を呈している現在、Meta は SAM にみんなの注目を集めることができ、これは Meta の強さの副次的証拠とみなすことができます。 Shichao 氏も、いつかこの機能をソーシャル プラットフォームで使用できることを楽しみにしています。

ああ、ところで、2 日前に SAM2 がリリースされたとき、Xiao Zha も名乗り出て「オープンソース」について説明しました。

これは単なる親切心からではなく、オープンソース化後は、みんなの助けがあれば、助けになることもあります。独自のエコシステムを構築する。

しかし、何はともあれ、他のメーカーもこのパターンから学ぶべきです。

記事を書く：リス

編集：ジャンジャン

アートエディター：シュアンシュアン

写真、ソース：

メタ、パリオリンピック