Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

seitgenerative künstliche Intelligenz Seit die Epidemie die Welt erfasst hat, behaupten viele Content-Ersteller, dass ihre Werke ohne Erlaubnis zum Trainieren von Modellen der künstlichen Intelligenz verwendet würden. Bisher war es jedoch schwierig festzustellen, ob die angebliche Arbeit tatsächlich in bestimmten Trainingsdatensätzen verwendet wurde.

Nun haben Forscher einen neuen Weg entwickelt, dies zu beweisen. Kürzlich hat ein Forscherteam des Imperial College London „Copyright-Fallen“ entwickelt, eine Art versteckter Text, der es Autoren und Verlegern ermöglicht, ihre Werke subtil zu markieren, um später zu erkennen, ob sie urheberrechtlich geschützt sind. Sie werden zum Trainieren von Modellen der künstlichen Intelligenz verwendet. Die Idee ähnelt Taktiken, die zuvor von Urheberrechtsinhabern angewendet wurden, beispielsweise das Hinzufügen gefälschter Orte zu Karten oder gefälschter Wörter zu Wörterbüchern.

Diese Fallstricke im Bereich des KI-Urheberrechts haben eine der größten Debatten im KI-Bereich ausgelöst. Viele Verlage und Autoren kämpfen mit Klagen gegen Technologieunternehmen und behaupten, dass deren geistiges Eigentum ohne Genehmigung in Trainingsdatensätze für künstliche Intelligenz enthalten sei.Zum Beispiel die New York TimesOpenAI Die Klage dürfte der typischste Fall sein.

Bisher wurde der Code zum Generieren und Erkennen von Fallen auf GitHub veröffentlicht. Als Nächstes plant das Team die Entwicklung eines Tools, mit dem Benutzer selbst Urheberrechtsfallen generieren und einfügen können.

Yves-Alexandre de Montjoye, Professor für angewandte Mathematik und Informatik am Imperial College London, der die Forschung leitete, sagte diese Woche auf der International Machine Learning Conference, einer führenden Konferenz über künstliche Intelligenz in Wien: „Derzeit besteht kein Konsens darüber, was zu tun ist.“ Es besteht ein völliger Mangel an Transparenz, wenn es um intelligente Modelle geht, was unserer Meinung nach KI-Unternehmen und Content-Ersteller daran hindert, die richtige Balance zu finden.“

Um die Falle zu erstellen, verwendeten er und sein Team einen Wortgenerator, um Tausende synthetischer Sätze zu erstellen. Die Sätze sind lang und im Grunde nur Kauderwelsch, wie zum Beispiel: „Wenn turbulente Zeiten kommen … Was es im Angebot gibt, und was noch wichtiger ist, wann es am besten ist, diese Liste zeigt Ihnen, wer am Donnerstagabend geöffnet hat, mit seinen regulären Verkaufszeiten und anderen Öffnungszeiten.“ für dich.“

Yves-Alexandre de Montjoye erklärte: „Wir haben 100 Fallensätze generiert und dann zufällig einen Satz ausgewählt, um ihn mehrmals in den Text einzufügen.“ Gleichzeitig kann die Falle auch auf verschiedene Weise in den Text eingefügt werden. Verwenden Sie beispielsweise weißen Text auf weißem Hintergrund oder betten Sie ihn in den Quellcode des Artikels ein. Dieser Satz muss im Text 100 bis 1000 Mal wiederholt werden.

Um diese Fallstricke zu erkennen, fütterten sie 100 generierte synthetische Sätze in ein großes Sprachmodell und prüften, ob das Modell sie als neue Sätze bezeichnete. Wenn das Modell Fallensätze in seinen Trainingsdaten gesehen hat, zeigt es einen niedrigeren „Perplexitätswert“ an. Wenn das Modell jedoch von den Sätzen „überrascht“ ist, bedeutet dies, dass das Modell ihnen zum ersten Mal begegnet ist und diese Sätze daher nicht vorhanden sind Fallen.

In der Vergangenheit haben Forscher vorgeschlagen, Sprachmodelle zum Speichern von Trainingsdaten zu verwenden, um festzustellen, ob etwas in den Daten vorhanden ist. Diese als „Mitgliedschaftsinferenzangriffe“ bekannte Technik funktioniert besser in fortgeschrittenen großen Modellen, da diese Modelle dazu neigen, sich während des Trainings große Datenmengen zu merken.

„Im Gegensatz dazu sind kleinere Modelle, die immer beliebter werden und auf Mobilgeräten ausgeführt werden können, aufgrund geringerer Speicherdatenmengen weniger anfällig für Mitgliedschaftsinferenzangriffe. Dadurch lässt sich leichter feststellen, ob sie auf ein bestimmtes urheberrechtlich geschütztes Ziel abzielen. Das Training wird schwieriger.“ auf Text“, sagte Gautam Kamath, Assistenzprofessor für Informatik an der University of Waterloo. Er war an der Studie nicht beteiligt.

Urheberrechtsfalle als Möglichkeit zur Durchführung von Mitgliedschaftsinferenzangriffen, auch bei kleineren Modellen. Das Team von Yves-Alexandre de Montjoye hat seine Falle in den Trainingsdatensatz von CroissantLLM eingefügt. CroissantLLM ist ein neu entwickeltes zweisprachiges Französisch-Englisch-Sprachmodell, das von einem Forschungsteam am Imperial College London in Zusammenarbeit mit Partnern aus Industrie und Wissenschaft trainiert wurde. CroissantLLM verfügt über 1,3 Milliarden Parameter, ein Bruchteil der hochmodernen Modelle (z. B. hat GPT-4 Berichten zufolge 1,76 Billionen Parameter).

„Untersuchungen zeigen, dass solche Fallen tatsächlich in Textdaten eingeführt werden können, was die Wirksamkeit von Membership-Inference-Angriffen erheblich verbessert, selbst bei kleineren Modellen“, sagte Gautam Kamath, fügte jedoch hinzu, dass noch viel zu tun sei .

„Das 1.000-malige Wiederholen einer 75-stelligen Phrase in einem Text hat große Auswirkungen auf den Originaltext. Dies könnte es einem Trainer ermöglichen, ein KI-Modell zu trainieren, eine Falle zu erkennen und den Inhalt zu überspringen, der sie enthält, oder ihn einfach zu löschen und den Rest zu ignorieren.“ „Das macht den Originaltext auch schwer lesbar“, betonte Gautam Kamath.

„Das lässt Urheberrechtsfallen im Moment unpraktisch erscheinen. Viele Unternehmen werden eine Deduplizierung durchführen, das heißt, sie werden die Daten bereinigen, und diese Urheberrechtsfallen werden möglicherweise gelöscht.“ sagte der Gründer von Spiffy AI. Er war auch nicht an der Studie beteiligt.

Nach Ansicht von Gautam Kamath besteht eine weitere Möglichkeit, Urheberrechtsfallen zu verbessern, darin, andere Möglichkeiten zu finden, urheberrechtlich geschützte Inhalte zu kennzeichnen, damit Angriffe auf Mitgliedschaftsrückschlüsse besser dagegen wirken, oder die Angriffe auf Mitgliedschaftsrückschlüsse selbst zu verbessern.

Yves-Alexandre de Montjoye räumt ein, dass diese Fallstricke nicht narrensicher sind. „Ein motivierter Angreifer könnte die Falle entfernen, wenn er wüsste, dass sie existiert“, sagte er.

„Aber ob sie sie alle entfernen können, ist unbekannt, und es könnte ein Katz-und-Maus-Spiel sein“, sagte er. „Trotzdem gilt: Je mehr Fallen man aufstellt, desto besser, ohne dass man dafür große technische Ressourcen aufwenden muss.“ „Es wird schwieriger, alle Fallen zu beseitigen.“

„Es ist wichtig, sich daran zu erinnern, dass Urheberrechtsfallen eine Notlösung oder einfach eine Unannehmlichkeit für Modelltrainer sein können. Es ist für niemanden möglich, einen Inhalt zu veröffentlichen, der eine Falle enthält, und zu garantieren, dass es sich immer um eine gültige Falle handelt.“

Ursprünglicher Link:

https://www.technologyreview.com/2024/07/25/1095347/a-new-tool-for-copyright-holders-can-show-if-their-work-is-in-ai-training-data/