Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Απόγενετικής τεχνητής νοημοσύνης Από τότε που η επιδημία σάρωσε τον κόσμο, πολλοί δημιουργοί περιεχομένου ισχυρίζονται ότι τα έργα τους χρησιμοποιούνται για την εκπαίδευση μοντέλων τεχνητής νοημοσύνης χωρίς άδεια. Αλλά μέχρι στιγμής, ήταν δύσκολο να προσδιοριστεί εάν η εργασία που λένε ότι χρησιμοποιήθηκε όντως σε συγκεκριμένα σύνολα δεδομένων εκπαίδευσης.

Τώρα, οι ερευνητές έχουν αναπτύξει έναν νέο τρόπο για να το αποδείξουν αυτό. Πρόσφατα, μια ομάδα ερευνητών από το Imperial College του Λονδίνου ανέπτυξε "Παγίδες πνευματικών δικαιωμάτων", ένα είδος κρυφού κειμένου που επιτρέπει σε συγγραφείς και εκδότες να επισημαίνουν διακριτικά τα έργα τους για να εντοπίσουν αργότερα εάν έχουν χρησιμοποιηθεί για την εκπαίδευση μοντέλων τεχνητής νοημοσύνης. Η ιδέα είναι παρόμοια με τις τακτικές που χρησιμοποιούσαν στο παρελθόν οι κάτοχοι πνευματικών δικαιωμάτων, όπως η προσθήκη ψεύτικων τοποθεσιών σε χάρτες ή ψεύτικων λέξεων σε λεξικά.

Αυτές οι παγίδες πνευματικών δικαιωμάτων AI έχουν πυροδοτήσει μία από τις μεγαλύτερες συζητήσεις στον τομέα της τεχνητής νοημοσύνης. Πολλοί εκδότες και συγγραφείς μάχονται αγωγές εναντίον εταιρειών τεχνολογίας, υποστηρίζοντας ότι η πνευματική τους ιδιοκτησία περιλαμβάνεται στα σύνολα δεδομένων εκπαίδευσης τεχνητής νοημοσύνης χωρίς άδεια.Για παράδειγμα, οι New York TimesOpenAI Η αγωγή μπορεί να είναι η πιο χαρακτηριστική περίπτωση.

Μέχρι στιγμής, ο κώδικας για τη δημιουργία και τον εντοπισμό παγίδων έχει κυκλοφορήσει στο GitHub. Στη συνέχεια, η ομάδα σχεδιάζει να αναπτύξει ένα εργαλείο που θα επιτρέπει στους χρήστες να δημιουργούν και να εισάγουν παγίδες πνευματικών δικαιωμάτων μόνοι τους.

Ο Yves-Alexandre de Montjoye, καθηγητής εφαρμοσμένων μαθηματικών και επιστήμης υπολογιστών στο Imperial College του Λονδίνου, ο οποίος ηγήθηκε της έρευνας, είπε στο International Machine Learning Conference, ένα κορυφαίο συνέδριο για την τεχνητή νοημοσύνη στη Βιέννη αυτή την εβδομάδα: «Δεν υπάρχει επί του παρόντος συναίνεση για το τι πρέπει να Χρησιμοποιήστε για την εκπαίδευση της τεχνητής νοημοσύνης Υπάρχει πλήρης έλλειψη διαφάνειας όσον αφορά τα έξυπνα μοντέλα, κάτι που πιστεύουμε ότι εμποδίζει τις εταιρείες τεχνητής νοημοσύνης και τους δημιουργούς περιεχομένου να βρουν τη σωστή ισορροπία.

Για να δημιουργήσει την παγίδα, αυτός και η ομάδα του χρησιμοποίησαν μια γεννήτρια λέξεων για να δημιουργήσουν χιλιάδες συνθετικές προτάσεις. Οι προτάσεις είναι μεγάλες και βασικά ασυναρτησίες, όπως, "Όταν έρχονται ταραγμένοι καιροί... Τι υπάρχει σε προσφορά, και το πιο σημαντικό, πότε είναι καλύτερο, αυτή η λίστα σας λέει ποιοι είναι την Πέμπτη Ανοίγοντας το βράδυ με τις κανονικές ώρες εκπτώσεων και άλλες ώρες λειτουργίας για σενα. "

Ο Yves-Alexandre de Montjoye εξήγησε, «Δημιουργήσαμε 100 προτάσεις παγίδας και στη συνέχεια επιλέξαμε τυχαία μια πρόταση για να την εισάγουμε στο κείμενο πολλές φορές, την ίδια στιγμή, η παγίδα μπορεί επίσης να εισαχθεί στο κείμενο με διάφορους τρόπους. για παράδειγμα, στο Χρησιμοποιήστε λευκό κείμενο σε λευκό φόντο ή ενσωματώστε το στον πηγαίο κώδικα του άρθρου. Αυτή η πρόταση πρέπει να επαναληφθεί 100 έως 1000 φορές στο κείμενο.

Για να εντοπίσουν αυτές τις παγίδες, τροφοδότησαν 100 παραγόμενες συνθετικές προτάσεις σε ένα μεγάλο γλωσσικό μοντέλο και είδαν εάν το μοντέλο τις χαρακτήρισε ως νέες προτάσεις. Εάν το μοντέλο έχει δει προτάσεις παγίδας στα δεδομένα εκπαίδευσής του, δείχνει χαμηλότερη "βαθμολογία αμηχανίας", αλλά εάν το μοντέλο "έκπληξε" από τις προτάσεις, σημαίνει ότι το μοντέλο τις συνάντησε για πρώτη φορά και επομένως αυτές οι προτάσεις δεν είναι. παγίδες.

Στο παρελθόν, οι ερευνητές πρότειναν τη χρήση γλωσσικών μοντέλων για την απομνημόνευση δεδομένων εκπαίδευσης για να προσδιορίσουν αν υπάρχει κάτι στα δεδομένα. Αυτή η τεχνική, γνωστή ως "Επιθέσεις συμπερασμάτων μέλους", λειτουργεί καλύτερα σε προηγμένα μεγάλα μοντέλα, επειδή αυτά τα μοντέλα τείνουν να θυμούνται μεγάλες ποσότητες δεδομένων κατά τη διάρκεια της εκπαίδευσης.

"Αντίθετα, μικρότερα μοντέλα που είναι ολοένα και πιο δημοφιλή και μπορούν να εκτελεστούν σε κινητές συσκευές είναι λιγότερο επιρρεπή σε επιθέσεις συμπερασμάτων συνδρομής λόγω μικρότερων ποσοτήτων δεδομένων μνήμης. Αυτό καθιστά ευκολότερο τον προσδιορισμό εάν στοχεύουν σε ένα συγκεκριμένο που προστατεύεται από πνευματικά δικαιώματα Γίνεται πιο δύσκολο να εκπαιδεύσουμε στο κείμενο», δήλωσε ο Gautam Kamath, επίκουρος καθηγητής πληροφορικής στο Πανεπιστήμιο του Waterloo. Δεν συμμετείχε στη μελέτη.

Παγίδα πνευματικών δικαιωμάτων, ως τρόπος διεξαγωγής επιθέσεων συμπερασμάτων μέλους, ακόμη και σε μικρότερα μοντέλα. Η ομάδα του Yves-Alexandre de Montjoye έβαλε την παγίδα της στο σύνολο δεδομένων εκπαίδευσης του CroissantLLM. Το CroissantLLM είναι ένα πρόσφατα αναπτυγμένο γαλλο-αγγλικό μοντέλο δίγλωσσης γλώσσας που εκπαιδεύτηκε από μια ερευνητική ομάδα στο Imperial College του Λονδίνου σε συνεργασία με εταίρους στη βιομηχανία και τον ακαδημαϊκό χώρο. Το CroissantLLM έχει 1,3 δισεκατομμύρια παραμέτρους, ένα κλάσμα των μοντέλων τελευταίας τεχνολογίας (για παράδειγμα, το GPT-4 φέρεται να έχει 1,76 τρισεκατομμύρια παραμέτρους).

«Η έρευνα δείχνει ότι τέτοιες παγίδες μπορούν πράγματι να εισαχθούν σε δεδομένα κειμένου, βελτιώνοντας σημαντικά την αποτελεσματικότητα των επιθέσεων συμπερασμάτων μελών, ακόμη και για μικρότερα μοντέλα, αλλά πρόσθεσε ότι υπάρχουν ακόμη πολλά να γίνουν σε αυτό το στάδιο να γίνει.

"Η επανάληψη μιας φράσης 75 χαρακτήρων 1.000 φορές σε ένα κείμενο έχει μεγάλο αντίκτυπο στο αρχικό κείμενο. Αυτό θα μπορούσε να επιτρέψει σε έναν εκπαιδευτή που εκπαιδεύει ένα μοντέλο τεχνητής νοημοσύνης να εντοπίσει μια παγίδα και να παραλείψει περιεχόμενο που την περιέχει ή απλά να το διαγράψει και να αγνοήσει το υπόλοιπο Το κείμενο αυτό κάνει το αρχικό κείμενο δύσκολο να διαβαστεί», επεσήμανε ο Gautam Kamath.

"Αυτό κάνει τις παγίδες πνευματικών δικαιωμάτων να φαίνονται μη πρακτικές προς το παρόν. Πολλές εταιρείες θα κάνουν deduplication, με άλλα λόγια, θα καθαρίσουν τα δεδομένα και αυτές οι παγίδες πνευματικών δικαιωμάτων μπορεί να διαγραφούν στο UC Irvine, καθηγητής επιστήμης υπολογιστών, startup Sameer Singh, από κοινού." είπε ο ιδρυτής του Spiffy AI. Επίσης δεν συμμετείχε στη μελέτη.

Κατά την άποψη του Gautam Kamath, ένας άλλος τρόπος για να βελτιώσετε τις παγίδες πνευματικών δικαιωμάτων είναι να βρείτε άλλους τρόπους επισήμανσης περιεχομένου που προστατεύεται από πνευματικά δικαιώματα, ώστε οι επιθέσεις συμπερασμάτων μέλους να λειτουργούν καλύτερα εναντίον τους ή να βελτιώσετε τις ίδιες τις επιθέσεις συμπερασμάτων μέλους.

Ο Yves-Alexandre de Montjoye αναγνωρίζει ότι αυτές οι παγίδες δεν είναι αλάνθαστες. «Ένας επιτιθέμενος με κίνητρα θα μπορούσε να αφαιρέσει την παγίδα αν ήξερε ότι υπήρχε», είπε.

«Αλλά το αν μπορούν να τα αφαιρέσουν όλα είναι άγνωστο, και μπορεί να είναι λίγο ένα παιχνίδι «γάτας με το ποντίκι»», είπε «ακόμη κι έτσι, όσο περισσότερες παγίδες στήσετε, χωρίς να αφιερώσετε πολλούς μηχανικούς πόρους, τόσο Είναι πιο δύσκολο να αφαιρέσετε όλες τις παγίδες.»

"Είναι σημαντικό να θυμάστε ότι οι παγίδες πνευματικών δικαιωμάτων μπορεί να είναι ένα μέτρο αναστολής ή απλώς μια ταλαιπωρία για τους εκπαιδευτές μοντέλων. Είναι αδύνατο για οποιονδήποτε να δημοσιεύσει ένα κομμάτι περιεχομένου που περιέχει μια παγίδα και να εγγυηθεί ότι θα είναι πάντα μια έγκυρη παγίδα."

Αρχικός σύνδεσμος:

https://www.technologyreview.com/2024/07/25/1095347/a-new-tool-for-copyright-holders-can-show-if-their-work-is-in-ai-training-data/