ai対aiの攻防リレーはどこまで進んでいるのか？
2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
あなたが見ているものは真実ではないかもしれません! 「肖像写真」や「キャラクター動画」が、犯罪者にとって新たな犯罪手段、新たな道具となる可能性があります。 2024 年の国家サイバーセキュリティ広報週間では、ai の顔変更や音声変更などの個人プライバシー侵害のテーマが再び注目を集めています。実際、この話題はサイバーセキュリティ週間の一週間前に開催された外灘会議でも熱く議論されました。
今年 9 月の黄浦江での外灘会議から長江陵頂での国家サイバー セキュリティ週間に至るまで、人々は ai がどのように役立つかについて疑問を持ち続けています。ai の顔が変わるリスクにどう対処するかを考えています。上海と広州という2つの河畔都市で開催されるペンティアム・レゾナンス。
ai の顔を変えるテクノロジーはデジタル id のセキュリティにどのような影響を及ぼしますか?ディープフェイクのリスクを正確に検出して防止できる効果的な ai ツールは何ですか?法的および倫理的な観点から、ai 顔変更テクノロジーの革新的な応用とその潜在的なリスクのバランスをどのようにとればよいのでしょうか?こうした疑問を抱え、nandu 記者はこれらの命題に対する答えを見つけるために、攻撃的および防御的な課題のシミュレーションから実際の応用シナリオまで、学界から産業界に至るまであらゆるところを調査しました。
実験場の外へ: 若者たちのグループがaiの攻防リレーを開始
ai 顔変更は、コンピューターを使用してディープラーニング アルゴリズムのサポートを受けて顔画像を改ざんするディープフェイク技術であり、ai 顔変更技術の継続的な反復により、エンターテインメント、電子商取引、その他の業界の生産が向上しています。効率性と同時に、無限のリスクも伴います。 9月初旬、韓国では「ディープ偽造」技術に基づく新たな「ルームn」事件が発生し、韓国の女性が「ai顔変更パニック」に陥り、中国のソーシャルネットワークに助けを求める投稿までした。
同時に、上海の外灘では、ai の顔変更に関するディープフェイクの攻防チャレンジが開催され、若い「ai 偽造防止者」のグループが集まりました。外灘会議中に、この ai イノベーション コンテストであるグローバル ディープフェイク攻撃と防御チャレンジ (以下、「ディープフェイク攻撃と防御コンテスト」と呼びます) の参加チームの 1 つである中国科学院オートメーション研究所の visionrush が、 「ai 顔が変わるパニック」のニーズに応えて、参加型 ai モデルをオープンソース化しました。その後、他の参加チームも「乗っ取り」、ディープフェイク ディフェンダーズの「コード リレー」アクションを開始しました。中国科学院、マカオ大学、中国海洋大学などのチームは、これが実現することを期待して、オープンソースの競争モデルを発表しました。技術的な閾値を下げ、技術的な交流を強化し、ディープフェイク技術の悪用を阻止します。
bund conference ai innovation competition・global deepfake attack and defense challenge 中に、参加チームは deepfake defenders の「コードリレー」アクションを開始しました。
香港とマカオの学者で構成された合同チームであるjtgroupが、このコンテストで好成績を収め、ディープフェイクの攻防ピクチャートラックで優勝したことは特筆に値します。香港城市大学の博士研究員であるウー・ハイウェイ氏は、マカオ大学のスマートシティ・モノのインターネット国家重点研究所の後輩たちを連れてイメージトラックに参加させた。マカオ大学スマートシティ・インターネット・オブ・シングスの国家重点研究所の研究者であるチェン・イーミン氏は、オープンソースについて話すとき、nandu記者とのインタビューで笑顔でこう語った。研究は「巨人」の肩の上に立って行われます。これらの「巨人」は、自分たちのプログラムコードを喜んで寄付します。なぜ私たちも研究を行う際に、テクノロジーの概念を忠実に守っているのですか。私たちもそのようなコンテストに参加して、テクノロジーを一般の人々が必要とする良いものに応用していきたいと考えています。」
jtgroup チームは、マルチタイプおよびマルチシナリオのディープフェイクで 97.038% の認識率を達成しました。どのようにしてこれを達成したのでしょうか?チーム代表の陳祥宇氏は南都記者のインタビューで「この攻防戦は現実世界のデータ規模に近い。我々は短期間でディープフェイクの生成と認識に関する多くの新技術を学んだ」と語った。タイムリーな調整にも気を配ったのが、チャンピオンシップを獲得できる理由の一つかもしれません。」
nandu の記者は主催者から、deepfake attack and defense competition が ant digital zoloz と dimensity labs がコンテストの出題者として主導していることを知りました。これは cv (コンピューター ビジョン) の分野で最も権威のあるコンテストの 1 つです。イベントデータセットは公開データと偽造データで構成されており、そのうち偽造画像データは実際のシーンでの50以上の生成方法をカバーし、偽造音声とビデオには合計100以上の組み合わせ攻撃方法が含まれています。組織委員会によって開かれ、100万人以上。
「このコンテストは、技術研究者に高度にシミュレートされた実際の産業環境で実践する機会を提供し、産学と研究を統合し、責任ある実践的な人材を育成するのに役立ちます。」シンガポール科学技術研究庁およびコンテストの共催者 さまざまな理論。参加チームの目標は、実験場から抜け出し、開発された技術的成果を実際のシナリオに適用することです。 jtgroupチームのwu haiwei氏はnandu記者に対し、「犯罪者が出店申請のための営業許可証や本人確認資料を偽造するのを防ぐために、淘宝網や天猫などの資格審査段階でai支援検出アルゴリズムが適用されている」と語った。純粋に手動でレビューすることで、店舗の開設コストを削減でき、将来的には、私たちの研究室の研究結果が、次のような企業側や政府側のシナリオにも適用されることが期待されています。国家的な不正防止 app やその他のプログラムにより、ディープフェイクの不正防止とテクノロジーに永久に貢献しています。」
標準と適用: ai の顔が変わるリスクに対する保護ネットワークを共同で構築する
もちろん、ディープフェイクとの戦いは単なる競争ではなく、業界は標準からアプリケーションに至るまで次々と対応し、ai の顔を変えるリスクに対する保護ネットワークを共同で構築してきました。
nandu記者は外灘会議技術展示会でアントグループ天吉研究所のディープフェイク検出インタラクティブ装置を体験した。
上海の外灘会議技術展示会で、アントグループ天吉研究所はディープフェイク検出用のインタラクティブ機器をデモンストレーションした。 nandu reporter の経験によると、リアルタイムで写真を撮影した後、ディープフェイクはいくつかの異なる「nandu reporter」画像を生成し（上図参照）、その後、ant group tianji laboratory の検出ロッカーが各画像を 1 つずつ検査しました。最後の写真だけがナンドゥの記者の本物の肖像画であり、残りはディープフェイクによって生成されたものであると判断し、正確に特定しました。
同時に、「偽のデジタル顔検出の金融アプリケーションのための技術仕様」という規格もカンファレンスで正式に発表された。この規格は、金融分野におけるデジタル顔偽検出サービスの機能要件、技術要件、性能要件などを規定し、対応する試験・評価方法を提案しています。これは中国初の金融シナリオ向けの「ai変面」検出基準であると理解されている。中関村フィンテック産業発展同盟の事務局長であり、中関村インターネット金融研究院の所長であるliu yong氏は講演の中で、「この標準のリリースは、金融シナリオにおける偽のデジタル顔のセキュリティ検出と評価の基礎を提供する」と述べた。そして、この分野のギャップも埋めます。」
広州南沙にて、2024年国家サイバーセキュリティ広報週間の「個人情報保護サブフォーラム」にて、南方報道グループ、工業情報化部第五電子研究所、国家国家サイバーセキュリティ広東支局internet emergency center、pengcheng laboratory、guangdong telecom、guangdong mobile、tencent、huawei、ping an group、china guangfa bank、oppo、byd、sangfor、shenzhen saixi、jingyuan security を含む 15 の企業および機関が、 「広東省ネットワーク データ セキュリティおよび個人情報保護協会」と共同で「ネットワーク データ セキュリティおよび個人情報保護の推進」イニシアチブを発行しました。 ai による顔の変化のリスクも協会の懸念事項の 1 つであることが理解されています。
china mobile ai 顔変更およびリアルタイム偽造インタラクティブ ゾーン。 (出典: 2024 年国家サイバーセキュリティ意識向上週間)
サイバーセキュリティ週間に開催された今年のサイバーセキュリティexpoでは、大手セキュリティ企業もセキュリティ分野の新製品や新技術を展示した。チャイナモバイルのディープ合成顔変更リアルタイム偽造インタラクティブゾーンで、ナンドゥ記者はai顔変更シミュレーションシステムを体験しました。体験中に、ディープフェイクによって生成されたビデオは、リアルタイム偽造技術によって偽物であると正確に識別できます。プロセス全体にかかる時間はわずか約 5 秒です。チャイナモバイルの情報セキュリティ管理オペレーションセンターの副マネージャーであるwang xiaoqing氏は、このシステムはaiの顔変更、aiのオノマトペ、文書偽造などのさまざまなシナリオに対抗できると述べた。同社は、偽造防止機能に基づいて、実名認証プロセスで ai の顔をリアルタイムに検出し、「ai 顔変更」などのリスクを事前に防止できる、実名インターネット アクセス ビジネスのパイロット アプリケーションを開始しました。オンラインでのカードの開設と交換が可能であり、偽造の精度は90％以上に達します。
実際、一般の人々がディープフェイク偽造防止技術によってもたらされる保護を享受できるようにする方法は、現在の技術研究開発における重要な命題です。中国科学技術大学サイバー空間セキュリティ学部教授の周文博氏は、科学技術大学サイバー空間セキュリティ学部のインテリジェント認知セキュリティ研究室のnandu記者とのインタビューでこの点を強調した。中国が新たな一歩を踏み出した。ちょうど9月初旬、同研究所がhonorと協力して開発した、デバイス側のai顔変更に基づく世界初の不正検出技術がhonor携帯電話に適用された。ユーザーが検出の開始をクリックすると、この技術がビデオ内の顔を検出し、ai によって顔の交換の可能性が高すぎる場合、ユーザーに顔の交換の疑いがあることを通知します。顔の交換が検出されました)。中国科学技術大学サイバースペースセキュリティ学部のインテリジェントコグニティブセキュリティ研究室は、2019年にはすでにdeepfacelabと呼ばれる深層合成ツール（深層学習を使用したビデオの顔を変更するツール）をオープンソース化したことがわかっている。 2020年、チームはfacebookやmitなどが主催する世界最大規模の「ディープフェイク検出チャレンジ（dfdc）」に参加し、準優勝を獲得した。
aiを使ってaiを倒す場合、どのような問題が残されているのでしょうか?
攻撃的および防御的なゲームから産業アプリケーションに至るまで、ai を使用して「偽りを除去し、真実を保持する」ことの効率性と実用性は自明です。しかし、無視できないのは、グローバルディープフェイク攻撃と防御チャレンジの提案者であり、ant zolozのテクニカルディレクターであるヤオ・ウェイビン氏が、aigcが生成した偽造の数が依然として指数関数的に増加していることであるとnandu記者とのインタビューで述べた。今年の攻撃は昨年と比べて約10倍に増加した。同様の状況は中国だけでなく、韓国、フィリピン、インドネシアなどでも起きている。
多くの検出技術が登場しているにもかかわらず、ディープフェイクがもたらすリスクを完全に回避することはできていないようです。なぜこのような状況が起こっているのでしょうか。周文梅氏は南都記者に対し、技術の理論研究から実用化までのプロセスは、すぐに効果を発揮するものではなく、実装されるまでにさまざまな課題に直面するだろうと語った。 「実際のところ、最も重要なことは、テクノロジーがどの程度完全であるべきかを語らないことだと思います。なぜなら、本当に問題を解決したいのであれば、テクノロジーに依存する必要があるのはその問題の 5% だけであり、残りの 95% は依存する必要があるからです」メディアやコンテンツ普及プラットフォームなどポピュラーサイエンスの普及に国民が参加することは非常に必要であり、国民も安全対策に対するより強い意識を持つ必要があると指摘した。
中国サイバースペースセキュリティ協会の人工知能セキュリティガバナンス専門委員会のメンバーであるzhang bo氏もメディアとのインタビューで、「aiの顔の変更には通常、ビデオ通話などの取引詐欺のシナリオが伴う。必要に応じて、相手の顔の輪郭や背景などの詳細を確認して、異常があるかどうかを確認します。ビデオに異常な詳細がないかどうかを確認して、ビデオが本物であることを確認します。」
技術的な観点から見ると、ディープフェイク検出の精度を向上させるために他にどのような方向性がありますか? zhang bo 氏は、id 認証と電子透かしを組み合わせることで偽造をより困難にできると考えています。 zhou wenbai氏はnandu記者に対し、2つの側面から検討できると語った。1つは、検出モデルにより多くの異なる種類の高品質ディープフェイクデータを提供することだ。人間が知識を学習するのと同じように、ディープ ラーニング モデルも学習するデータが増え、学習した知識が増えるほど、認識能力は強化されます。 「もう 1 つは、データ公開側で何らかの積極的な保護を試みることができるということです。たとえば、データがソーシャル プラットフォームで公開される前に、そのプラットフォームに堅牢な追跡可能な識別情報 (透かしなど) をマークする必要があります。この識別情報にはメディア素材が配布されることがあり、識別情報の完全性、意味論、その他の内容を検出することによって、現在の素材が破損しているか偽造されたものであるかどうかが判断されます」と周文波氏は述べた。 douyin などの多くの動画プラットフォームが、ai によって生成された疑いのある動画にラベルを付けていることは言及する価値があります。
張波氏はまた、経営の観点から、aiアプリケーションの使用方法と適用シナリオを標準化するために、関連する法律、規制、規制措置の策定と実施を加速する必要があると示唆した。周文波氏の見解では、「偽のデジタル顔検出の金融アプリケーションに関する技術仕様」などの標準のリリースは、企業や機関が提供するサービスと技術の応用を標準化するためのガイドとして使用でき、実行されるべきである特定の規範や基準に従って、テクノロジーの使用中にプライバシー、データセキュリティ、その他の側面に対する脅威が生じ、ユーザーの権利や利益が損なわれ、場合によっては国益が侵害されることを防ぐためにそのテクノロジーを実装します。
関連分野の人材育成の観点からも、私たちはチャンスと課題に直面しています。中国工程院の学者で中国画像グラフィック学会会長の王耀南氏は、近年、海外でこの技術を悪用してaiの顔を変える詐欺が行われるケースが多く、その結果、経済的・財産的損失、風評被害などの事件が世界規模で発生する中、技術的な課題を踏まえ、実践的な能力を備えたai人材の育成が急務となっています。 ant digital の cto である wang wei 氏は、「競争を通じてイノベーションを促進」し、現実的な競争問題を通じて実際の応用シナリオで実際の問題を解決するためにテクノロジーを使用する参加者の能力を向上させ、学際的な才能を育成することを期待してソリューションを提案しました。世界的な ai テクノロジーのエリートを集めることで、実際の戦闘演習での世界的な対立レベルを伝達し、改善します。
取材・文：nandu記者 xiong runmiao
