ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

以来生成人工知能疫病が世界を席巻して以来、多くのコンテンツクリエイターが、自分たちの作品が人工知能モデルのトレーニングに許可なく使用されていると主張している。しかしこれまでのところ、彼らが主張する成果が特定のトレーニング データセットで実際に使用されたかどうかを判断することは困難です。

現在、研究者たちはこれを証明する新しい方法を開発しました。最近、インペリアル・カレッジ・ロンドンの研究チームは、作家や出版社が自分の作品に微妙にマークを付けて、後から人工知能モデルのトレーニングに使用できる隠しテキストの一種である「著作権トラップ」を開発した。このアイデアは、地図に偽の場所を追加したり、辞書に偽の単語を追加したりするなど、著作権所有者が以前に使用した戦術に似ています。

これらの AI 著作権の落とし穴は、AI 分野で最大の議論の 1 つを引き起こしました。多くの出版社や著者が、自社の知的財産が許可なく人工知能のトレーニングデータセットに含まれているとして、テクノロジー企業を相手取って訴訟を起こしている。たとえば、ニューヨーク・タイムズ紙は、 オープンAI 訴訟はその最も典型的なケースかもしれない。

これまでのところ、トラップを生成および検出するためのコードは GitHub で公開されています。次に、チームはユーザーが自分で著作権トラップを生成および挿入できるツールを開発する予定です。

研究を主導したインペリアル・カレッジ・ロンドンの応用数学とコンピュータサイエンスのイブ・アレクサンドル・ド・モンジョワ教授は、今週ウィーンで開催される人工知能に関する主要な会議である国際機械学習会議で次のように語った。インテリジェント モデルに関しては完全に透明性が欠如しており、これが AI 企業とコンテンツ クリエーターが適切なバランスを見つけるのを妨げていると私たちは考えています。」

トラップを作成するために、彼と彼のチームは単語ジェネレーターを使用して何千もの合成文を作成しました。文は長く、基本的に意味不明です。「激動の時代が来ると...何がセールになっているか、そしてより重要なのは、いつが一番良いか、このリストで誰が木曜日に開店するかがわかります。夕方には通常のセール時間とその他の営業時間で開店しますあなたのために。 "

Yves-Alexandre de Montjoye 氏は、「100 個のトラップ文を生成し、ランダムに文を選択してテキストに複数回挿入しました。同時に、トラップはさまざまな方法でテキストに挿入することもできます。」と説明しました。たとえば、白い背景に白いテキストを使用するか、記事のソース コードに埋め込みます。この文はテキスト内で 100 ～ 1000 回繰り返す必要があります。

これらの落とし穴を検出するために、彼らは生成された 100 の合成文を大規模な言語モデルに入力し、モデルがそれらを新しい文としてラベル付けするかどうかを確認しました。モデルがトレーニング データ内でトラップ文を見た場合、より低い「困惑スコア」を示しますが、モデルがその文に「驚いた」場合、それはモデルがその文に初めて遭遇したことを意味するため、これらの文はそうではありません。罠。

過去に研究者らは、言語モデルを使用してトレーニング データを記憶し、データ内に何かが存在するかどうかを判断することを提案しました。 「メンバーシップ推論攻撃」として知られるこの手法は、高度な大規模モデルでより効果的に機能します。これは、これらのモデルがトレーニング中に大量のデータを記憶する傾向があるためです。

「対照的に、ますます人気が高まっており、モバイルデバイス上で実行できる小型のモデルは、メモリデータの量が少ないため、メンバーシップ推論攻撃の影響を受けにくくなっています。これにより、著作権で保護された特定のモデルをターゲットにしているかどうかを判断することが容易になります。トレーニングするのがより困難になります」テキストについては」とウォータールー大学コンピューターサイエンス助教授ゴータム・カマス氏は語った。彼はその研究には関与していなかった。

著作権トラップ。小規模なモデルに対してもメンバーシップ推論攻撃を実行する方法として使用されます。 Yves-Alexandre de Montjoye のチームは、CroissantLLM のトレーニング データセットにトラップを注入しました。 CroissantLLM は、インペリアル カレッジ ロンドンの研究チームが産業界および学術界のパートナーと協力してトレーニングした、新しく開発されたフランス語と英語のバイリンガル言語モデルです。 CroissantLLM には 13 億個のパラメータがあり、これは最先端のモデルの一部です (たとえば、GPT-4 には 1 兆 7600 億個のパラメータがあると報告されています)。

「調査によると、このようなトラップは実際にテキスト データに導入され、小規模なモデルであってもメンバーシップ推論攻撃の有効性が大幅に向上することがわかっています。」とゴータム・カマス氏は述べましたが、現段階ではまだやるべきことがたくさんあると付け加えました。終わり。

「テキスト内で 75 文字のフレーズを 1,000 回繰り返すと、元のテキストに大きな影響を与えます。これにより、AI モデルをトレーニングするトレーナーが罠を見つけて、それを含むコンテンツをスキップしたり、単純に削除して残りの部分を無視したりできる可能性があります。」これにより、原文が読みにくくなります」とゴータム・カマス氏は指摘した。

「このため、現時点では著作権トラップは現実的ではないと思われます。多くの企業が重複排除を行う、つまりデータをクリーンアップし、これらの著作権トラップは削除される可能性があります。」 Spiffy AIの創設者はこう語った。彼も研究には関与していなかった。

Gautam Kamith 氏の見解では、著作権トラップを改善するもう 1 つの方法は、著作権で保護されたコンテンツにマークを付けて、メンバーシップ推論攻撃が効果的に機能するようにするか、メンバーシップ推論攻撃自体を改善する別の方法を見つけることです。

イヴ＝アレクサンドル・ド・モンジョワ氏は、これらの落とし穴が絶対確実ではないことを認めています。 「動機のある攻撃者は、トラップの存在を知っていれば、トラップを取り除くことができます」と同氏は述べた。

「しかし、それらをすべて取り除くことができるかどうかは未知数で、ちょっとした『いたちごっこ』になるかもしれない」と彼は言う。すべての罠を取り除くのはより困難になります。」

「著作権の罠は一時しのぎの措置である場合もあれば、単にモデルトレーナーにとって迷惑な場合もあることを覚えておくことが重要です。罠を含むコンテンツを投稿し、それが常に有効な罠であることを保証することは誰にも不可能です。」とゴータム・カマス氏は述べた。

元のリンク:

https://www.technologyreview.com/2024/07/25/1095347/a-new-tool-for-copyright-holders-can-show-if-their-work-is-in-ai-training-data/