Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: LRST Τόσο υπνηλία

[Εισαγωγή στη Νέα Σοφία] Οι ερευνητές προτείνουν μια νέα μέθοδο ελαχιστοποίησης σφαλμάτων πολλαπλών βημάτων (MEM) για τη δημιουργία πολυτροπικών μη εκμαθήσιμων δειγμάτων για την προστασία των προσωπικών δεδομένων από την κατάχρηση από πολυτροπικά μοντέλα αντίθεσης μάθησης. Με τη βελτιστοποίηση του θορύβου εικόνας και των ενεργοποιήσεων κειμένου, η μέθοδος MEM παραπλανά αποτελεσματικά το μοντέλο, μειώνοντας την ικανότητα εκμάθησής του σε ιδιωτικά δεδομένα και επιδεικνύει ισχυρή δυνατότητα μεταφοράς μεταξύ διαφορετικών μοντέλων.

Η πολυτροπική αντιθετική μάθηση (όπως το CLIP) έχει επιτύχει σημαντική πρόοδο στην ταξινόμηση μηδενικών λήψεων μαθαίνοντας από εκατομμύρια ζεύγη εικόνων-υπότιτλων που έχουν αφαιρεθεί από το Διαδίκτυο.

Ωστόσο, αυτή η εμπιστοσύνη εγκυμονεί κινδύνους για το απόρρητο, καθώς οι χάκερ μπορεί να εκμεταλλευτούν δεδομένα κειμένου εικόνας για εκπαίδευση μοντέλων χωρίς εξουσιοδότηση, τα οποία μπορεί να περιλαμβάνουν προσωπικές και ευαίσθητες πληροφορίες για το απόρρητο.

Πρόσφατη εργασία προτείνει ότι οι συντομεύσεις με προστασία μπορούν να δημιουργηθούν με τη δημιουργία παραδειγμάτων που δεν μπορούν να μάθουν, προσθέτοντας ανεπαίσθητες διαταραχές στις εικόνες εκπαίδευσης.

Ωστόσο, αυτές οι μέθοδοι έχουν σχεδιαστεί για εργασίες ταξινόμησης μεμονωμένων τρόπων και παραμένουν ανεξερεύνητες στην πολυτροπική αντιθετική μάθηση. Αυτό το άρθρο διερευνά πρώτα αυτό το πλαίσιο αξιολογώντας την απόδοση των υπαρχουσών μεθόδων σε ζεύγη εικόνων-υπότιτλων, όπου οι προηγούμενες μέθοδοι δεν μπορούν να γενικευτούν αποτελεσματικά σε πολυτροπικά δεδομένα λόγω της έλλειψης ετικετών σε αυτό το σενάριο και έχουν περιορισμένη αποτελεσματικότητα στη δημιουργία συντομεύσεων.

Σε αυτό το έγγραφο προτείνουμε την ελαχιστοποίηση σφαλμάτων πολλαπλών βημάτων (MEM), μια νέα διαδικασία βελτιστοποίησης για τη δημιουργία δειγμάτων πολλαπλών τρόπων που δεν μπορούν να μάθουν. Επεκτείνει το πλαίσιο ελαχιστοποίησης σφαλμάτων (EM) για βελτιστοποίηση για θόρυβο εικόνας και πρόσθετες ενεργοποιήσεις κειμένου, διευρύνοντας έτσι τον χώρο βελτιστοποίησης και παραπλανώντας αποτελεσματικά το μοντέλο για να μάθει συντομεύσεις μεταξύ λειτουργιών θορύβου και ενεργοποιήσεων κειμένου.

Σύνδεσμος χαρτιού: https://arxiv.org/abs/2407.16307

Σύνδεσμος κώδικα: https://github.com/thinwayliu/Multimodal-Unlearnable-Examples

Συγκεκριμένα, η προβλεπόμενη κάθοδος κλίσης υιοθετείται για την επίλυση του προβλήματος ελαχιστοποίησης θορύβου και η μέθοδος HotFlip χρησιμοποιείται για την προσέγγιση της διαβάθμισης και την αντικατάσταση λέξεων για την εύρεση της βέλτιστης ενεργοποίησης κειμένου.

Ένας μεγάλος αριθμός πειραμάτων έχει αποδείξει την αποτελεσματικότητα της μεθόδου, τα αποτελέσματα ανάκτησης μετά την προστασία είναι σχεδόν τα μισά από αυτά της τυχαίας εικασίας και είναι εξαιρετικά μεταβιβάσιμη μεταξύ διαφορετικών μοντέλων. Το χαρτί και ο κώδικας αυτής της εργασίας είναι ανοιχτού κώδικα.

Ερευνητικό Ιστορικό

Τα τελευταία χρόνια, με την άνοδο της πολυτροπικής μάθησης, οι ερευνητές έχουν αρχίσει να ενδιαφέρονται έντονα για μοντέλα που συνδυάζουν πολλούς τύπους δεδομένων όπως κείμενο, εικόνες και ήχο.

Μεταξύ αυτών, η πολλαπλή αντιθετική μάθηση έχει γίνει μια σημαντική μέθοδος σε αυτόν τον τομέα. ταξινόμηση, δυνατότητες σε εργασίες όπως η παραγωγή.

Ωστόσο, η εκπαίδευση αυτών των μοντέλων βασίζεται σε μεγάλες ποσότητες πολυτροπικών δεδομένων, τα οποία συχνά προέρχονται από δημόσια διαθέσιμα σύνολα δεδομένων όπως τα CC12M, YFCC100M και LAION5B, αλλά αυτά τα σύνολα δεδομένων μπορεί να εξακολουθούν να είναι ανεπαρκή και μπορεί να περιέχουν μεγάλο όγκο ευαίσθητων προσωπικών πληροφοριών. πυροδοτώντας Ανησυχίες σχετικά με παραβιάσεις του απορρήτου.

Εξετάζουμε ένα σενάριο που εστιάζει στη δημιουργία πολυτροπικών μη εκμαθήσιμων δειγμάτων για την αντιμετώπιση των κινδύνων προστασίας της ιδιωτικής ζωής που σχετίζονται με την πολυτροπική αντιθετική μάθηση. Σε αυτό το σενάριο, εστιάζουμε σε ζεύγη εικόνας-κειμένου ως αντιπροσωπευτικά σύνολα δεδομένων πολλαπλών τρόπων. Υποτίθεται ότι οι χρήστες μοιράζονται συχνά προσωπικές φωτογραφίες με κείμενο σε πλατφόρμες μέσων κοινωνικής δικτύωσης όπως το Facebook, συμπεριλαμβανομένων ορισμένων ιδιωτικών στοιχείων αναγνώρισης όπως πρόσωπα, ονόματα, αριθμούς τηλεφώνου και διευθύνσεις.

Επί του παρόντος, οι χάκερ προσπαθούν να συλλέξουν ένα μεγάλο αριθμό τέτοιων ζευγών εικόνας-κειμένου από το Διαδίκτυο και εκπαιδεύουν ή ρυθμίζουν με ακρίβεια μεγάλα μοντέλα χρησιμοποιώντας τεχνικές πολλαπλής αντίθεσης εκμάθησης, όπως φαίνεται στο αριστερό μισό του Σχήματος 1.

Αυτά τα μοντέλα καταγράφουν ακούσια τις προσωπικές πληροφορίες και τα χαρακτηριστικά του προσώπου των χρηστών, οδηγώντας σε πιθανές διαρροές απορρήτου. Οι προστάτες στοχεύουν να αποτρέψουν αυτά τα ευαίσθητα δεδομένα από μη εξουσιοδοτημένη εκμετάλλευση, εφαρμόζοντας μη εκμαθήσιμες μεθόδους σε δεδομένα πολλαπλών μέσων. Αυτές οι μέθοδοι καθιστούν τα ιδιωτικά χαρακτηριστικά του χρήστη απρόσιτα στο μοντέλο που έχει εκπαιδευτεί σε τέτοια δείγματα πολλαπλών τρόπων που δεν μπορούν να μάθουν, ενώ δεν εμποδίζουν την κοινωνική αλληλεπίδραση του χρήστη μετά τη δημοσίευση εικόνων και κειμένων, όπως φαίνεται στο δεξιό μισό της Εικόνας 1.

Εικόνα 1: Οι αναρτήσεις στο Facebook μπορούν να αποκαλύψουν ακούσια προσωπικές πληροφορίες (αριστερά), αλλά τα δεδομένα μπορούν να προστατευθούν χρησιμοποιώντας πολλαπλά μη εκμαθήσιμα δείγματα για να αποτραπεί η πρόσβαση μη εξουσιοδοτημένων μοντέλων σε ιδιωτικές λειτουργίες (δεξιά)

κίνητρο

Η πρόσφατη έρευνα επικεντρώνεται στην πρόληψη της μη εξουσιοδοτημένης χρήσης δεδομένων στην ταξινόμηση εικόνων μέσω παραδειγμάτων που δεν μπορούν να μάθουν. Αυτές οι μέθοδοι εμποδίζουν το μοντέλο να μάθει χαρακτηριστικά εικόνας εφαρμόζοντας ανεπαίσθητες διαταραχές στα δεδομένα, γνωστές και ως επιθέσεις διαθεσιμότητας ή αδιάκριτες επιθέσεις δηλητηρίασης.

Χωρίζεται κυρίως σε επιθέσεις μοντέλων χωρίς πράκτορες και σε επιθέσεις μοντέλων που βασίζονται σε πράκτορες, όπου οι επιθέσεις μοντέλων χωρίς πράκτορες δημιουργούν θόρυβο σε επίπεδο pixel, ενώ οι επιθέσεις μοντέλων που βασίζονται σε πράκτορες δημιουργούν θόρυβο σε επίπεδο χαρακτηριστικών μέσω του μοντέλου πράκτορα.

Ωστόσο, όλες οι μέθοδοι μοντέλων χωρίς πράκτορες για ταξινόμηση αποτυγχάνουν να δημιουργήσουν θόρυβο εικόνας σε σενάρια πολλαπλών τρόπων, επειδή αυτές οι μέθοδοι στοχεύουν να βρουν μια σειρά από συγκεκριμένα μοτίβα θορύβου για εικόνες που σχετίζονται με μια συγκεκριμένη κατηγορία, ενώ τα ζεύγη εικόνας-κειμένου Δεν υπάρχουν ετικέτες σε τα δεδομένα.

Επομένως, μπορούν να εφαρμοστούν μόνο μέθοδοι που βασίζονται σε μοντέλα πράκτορα και επεκτείνουμε δύο τυπικές μεθόδους για τη δημιουργία μη εκμαθήσιμων παραδειγμάτων πολλαπλών τρόπων (EM και UAP).

Η μέθοδος ελαχιστοποίησης σφαλμάτων θορύβου (EM):

Μέθοδος Untargeted Adversarial Perturbation.(UAP):

Παρόλο που το EM και το UAP μπορούν να εφαρμοστούν σε ζεύγη εικόνας-υπότιτλων, αποτυγχάνουν να επιτύχουν αποτελεσματική προστασία, ειδικά UAP. Διερευνούμε τους λόγους για τους οποίους αυτές οι μέθοδοι μειώνουν την αποτελεσματικότητα από την ταξινόμηση εικόνων έως την πολλαπλή αντιθετική μάθηση.

Στην ταξινόμηση εικόνων, το EM και το UAP βελτιστοποιούν τις εικόνες με την ίδια ετικέτα ώστε να συγκλίνουν στον χώρο χαρακτηριστικών, αναγκάζοντας το μοντέλο να συλλάβει εύκολα αυτούς τους πρόσθετους θορύβους και να μάθει τη συσχέτιση με την ετικέτα, όπως φαίνεται στο Σχήμα 2(α).

Σχήμα 2: Σύγκριση διαφορετικών μεθόδων στην παραδοσιακή ταξινόμηση και την πολυτροπική αντιθετική μάθηση. Αντιπροσωπεύει μια εικόνα και είναι ο ζευγοποιημένος τίτλος.Η μπλε περιοχή είναι το αναμενόμενο όριο απόφασης για ένα μοντέλο που έχει εκπαιδευτεί σε μη μαθησιακά δείγματα

Αλλά στην πολλαπλή αντιθετική μάθηση, προκειμένου να εφαρμοστούν αποτελεσματικά οι μέθοδοι EM και UAP, η κατεύθυνση του βελτιστοποιημένου θορύβου εικόνας πρέπει να σχετίζεται με τα χαρακτηριστικά του κειμένου, με αποτέλεσμα τα χαρακτηριστικά της εικόνας να γίνονται είτε κοντά είτε μακριά από αυτά τα χαρακτηριστικά. .

Ωστόσο, διαφορετικά ζεύγη χαρακτηριστικών κειμένου μπορεί να είναι ευρέως διάσπαρτα σε σύνολα δεδομένων εικόνας-κειμένου. Όπως φαίνεται στο Σχήμα 2(β) και (γ), σε αντίθεση με την ταξινόμηση, είναι πιο δύσκολο για το μοντέλο να καταγράψει τη συσχέτιση μεταξύ των υπότιτλων και του θορύβου που δημιουργείται από το EM και το UAP.

Στο Σχήμα 2(γ), ο χώρος μαθησιακών αποφάσεων του UAP είναι πιο περίπλοκος, επομένως το αποτέλεσμα προστασίας του δεν είναι καλό.

μέθοδος

Εικόνα 3: Πλαίσιο της μεθόδου ελαχιστοποίησης σφαλμάτων πολλαπλών βημάτων (MEM)

Λόγω της διασποράς των ζευγών εικόνας-κειμένου, οι μέθοδοι που βασίζονται σε μοντέλα μεσολάβησης εξακολουθούν να μην μπορούν να επιτύχουν αποτελεσματική προστασία. Μια διαισθητική στρατηγική βελτίωσης είναι η βελτιστοποίηση εικόνων και κειμένου ταυτόχρονα για την απόκτηση μεγαλύτερου χώρου βελτιστοποίησης και προώθηση της σύγκλισής τους σε διαφορετικά ζεύγη στο χώρο χαρακτηριστικών.

Επομένως, οι βελτιστοποιημένες αναπαραστάσεις των συνόλων εικόνας και κειμένου παρουσιάζουν παρόμοιες κατανομές, γεγονός που διευκολύνει το μοντέλο να μάθει τις συντομεύσεις τους, όπως φαίνεται στο Σχήμα 2(δ).

Για το σκοπό αυτό, λαμβάνουμε τη μέθοδο EM ως βασικό πλαίσιο και προτείνουμε την προσθήκη πρόσθετων ενεργειών σύντομου κειμένου πριν από τους υπότιτλους για να ελαχιστοποιηθεί η απώλεια αντίθεσης, μετά τη ρύθμιση των επιθέσεων αντιπάλου σε εργασίες κειμένου. Η μέθοδός μας μπορεί να θεωρηθεί ως ένα επαναληπτικό πρόβλημα βελτιστοποίησης τριών επιπέδων, παρόμοιο με τη διαδικασία πολλαπλών βημάτων του EM.

Συγκεκριμένα, βελτιστοποιούμε διαδοχικά τον θόρυβο δ και την ενεργοποίηση κειμένου t για να μειώσουμε την απώλεια αντίθεσης μεταξύ της βελτιστοποιημένης εικόνας I + δ και του βελτιστοποιημένου κειμένου T ⊕ t, όπου το ⊕ αντιπροσωπεύει ένα έναυσμα που μπορεί να εισάγει καθαρό κείμενο T σε διαφορετικές θέσεις.

Για λόγους απλότητας, σε αυτό το άρθρο επιλέγουμε να προσθέσουμε ένα έναυσμα κειμένου στην αρχή του κειμένου. Επομένως, η μέθοδος ελαχιστοποίησης σφαλμάτων πολλαπλών βημάτων (MEM) μπορεί να διατυπωθεί ως εξής:

Τα παραπάνω προβλήματα βελτιστοποιούνται επαναληπτικά με αναφορά στις μεθόδους στο EM. Το Projected Graient Descent (PGD) χρησιμοποιείται για την επίλυση του προβλήματος ελαχιστοποίησης θορύβου στην Εξ.

Ειδικότερα, για να μετριαστεί η υπερβολική προσαρμογή του θορύβου στους καθαρούς υπότιτλους, τους βελτιώνουμε ανακατεύοντας τους καθαρούς υπότιτλους σε παρτίδες και προσθέτοντας σωστά αντιστοιχισμένα στοιχεία ενεργοποίησης κειμένου. Επομένως, όταν αντιμετωπίζετε σημασιολογικά λανθασμένους υπότιτλους, αυτός ο παραγόμενος θόρυβος μπορεί να επικεντρωθεί περισσότερο σε κειμενικούς κανόνες παρά σε μερικούς υπότιτλους. Επομένως, μπορούμε να λάβουμε το βέλτιστο δ σύμφωνα με τον ακόλουθο επαναληπτικό τύπο:

Για το πρόβλημα ελαχιστοποίησης ενεργοποίησης κειμένου, η ακολουθία ενεργοποίησης αρχικοποιείται πρώτα επαναλαμβάνοντας τη λέξη "the" ή "a" μπροστά από όλες τις εισόδους.

Επιπλέον, η ενεργοποίηση κειμένου βελτιστοποιείται με βάση το HotFlip και το αποτέλεσμα της αντικατάστασης της ένδειξης προσεγγίζεται κατά διαβάθμιση. Ενημερώνοντας την ενσωμάτωση κάθε διακριτικού ενεργοποίησης για να ελαχιστοποιηθεί η προσέγγιση Taylor πρώτης τάξης της απώλειας CLIP γύρω από την τρέχουσα ενσωμάτωση διακριτικού:

Τέλος, μπορούμε να χρησιμοποιήσουμε την αναζήτηση δέσμης για να αναζητήσουμε κάθε βέλτιστη ενεργοποίηση κειμένου στο σύνολο των υποψήφιων ετικετών. Θεωρούμε τους κορυφαίους k υποψηφίους από την παραπάνω εξίσωση και αναζητούμε από μπροστά προς τα πίσω σε κάθε θέση του flip-flop και βαθμολογούμε κάθε πακέτο χρησιμοποιώντας την απώλεια στην τρέχουσα παρτίδα.

Ακολουθούμε την προσέγγιση των Wallace et al και χρησιμοποιούμε μικρά μεγέθη δέσμης για αποτελεσματικούς υπολογισμούς. Στο Σχήμα 3, μπορούμε να δούμε το πλαίσιο για τη χρήση του MEM μας για τη δημιουργία δειγμάτων πολλαπλών τρόπων μη εκμάθησης.

Πειραματικό αποτέλεσμα

Αποτελεσματική προστασία

Πίνακας 1: Σύγκριση αποτελεσματικότητας μη εκμαθήσιμων δειγμάτων που δημιουργούνται από διάφορες μεθόδους σε διαφορετικά σύνολα δεδομένων

Ο Πίνακας 1 δείχνει τα αποτελέσματα ανάκτησής τους σε διαφορετικά σύνολα δεδομένων. Σαφώς, το UAP δεν παρέχει σχεδόν καμία προστασία για πολυτροπικά δεδομένα, ενώ το EM εμφανίζει κάποιο επίπεδο προστασίας.

Ωστόσο, το MEM μας παρέχει πάντα ισχυρή προστασία για δεδομένα πολλαπλών μέσων, μειώνοντας την απόδοση ανάκτησης σχεδόν στο μισό από αυτήν της τυχαίας εικασίας. Το MEM-5, ειδικότερα, πέτυχε μεγαλύτερο αποτέλεσμα στη μείωση της απόδοσης του μοντέλου χάκερ από το MEM-3 λόγω της ενεργοποίησης του μεγαλύτερου μήκους κειμένου.

Το Σχήμα 4 δείχνει τις καμπύλες μείωσης της απώλειας προπόνησης για προπόνηση σε μη εκμαθήσιμα δείγματα που δημιουργούνται με διαφορετικές μεθόδους και ανάκτηση Medr στο σύνολο καθαρών δοκιμών. Μπορεί να παρατηρηθεί από το (α) ότι παρόλο που το EM κάνει την απώλεια γρηγορότερα από την κανονική προπόνηση, οι μέθοδοί μας MEM-3 και MEM-5 έχουν μικρότερες απώλειες στην πρώτη εποχή, γεγονός που δείχνει ότι το μοντέλο μπορεί να μάθει συντομεύσεις γρήγορα.

Από το (β) διαπιστώνουμε ότι το Medr όλων των μοντέλων είναι χαμηλότερο από ό,τι όταν γίνεται τυχαία εικασία, αλλά το μοντέλο που εκπαιδεύεται σε μη μαθησιακά δείγματα σταματά να μαθαίνει πιο γρήγορα, φτάνει στα χειρότερα αποτελέσματα ανάκτησης και δεν αυξάνεται καθώς η εποχή αυξάνεται περαιτέρω. Οι παραπάνω παρατηρήσεις είναι συνεπείς με τα αποτελέσματα του Πίνακα 1.

Εικόνα 4: Εγγραφές αλλαγής καμπύλης απώλειας προπόνησης και δείκτης δοκιμής Medr

Φορητότητα μεταξύ μοντέλων

Πίνακας 2: Δυνατότητα μεταφοράς μη εκμαθήσιμων δειγμάτων που δημιουργούνται με τη μέθοδο MEM-3 που βασίζεται στο μοντέλο ResNet50 σε διαφορετικές αρχιτεκτονικές μοντέλων

Υποθέτουμε ότι η προστασία δεδομένων είναι μια εγκατάσταση εντελώς μαύρου κουτιού, όπου ο προστάτης δεν γνωρίζει την αρχιτεκτονική του μοντέλου χάκερ. Επομένως, αξιολογούμε την απόδοση του MEM που δημιουργείται στο μοντέλο διακομιστή μεσολάβησης ResNet50 σε διαφορετικά μοντέλα εισβολής, συμπεριλαμβανομένων των ResNet101 και ViT. Τα αποτελέσματα φαίνονται στον Πίνακα 2. Βρήκαμε ότι αυτά τα δείγματα μπορούν να μεταφερθούν με επιτυχία μεταξύ διαφορετικών μοντέλων και μπορούν να υποβαθμίσουν την απόδοση των μοντέλων CLIP.

Οπτική ανάλυση

Εικόνα 5: Οπτικοποίηση χάρτη προσοχής: σύγκριση τεσσάρων μοντέλων σε καθαρά δεδομένα και μη εκμαθήσιμα δείγματα με διαφορετικές μεθόδους

Το Σχήμα 5 δείχνει τους χάρτες θερμότητας προσοχής μοντέλων που έχουν εκπαιδευτεί σε καθαρά δεδομένα και μη εκμαθήσιμα δείγματα που δημιουργούνται με διαφορετικές μεθόδους. Για εικόνες, χρησιμοποιούμε Grad-CAM για να οπτικοποιήσουμε την προσοχή του μοντέλου, ενώ για κείμενο, χρησιμοποιούμε Ενσωματωμένες διαβαθμίσεις για να οπτικοποιήσουμε την προσοχή. Όσο πιο ανοιχτό είναι το χρώμα, τόσο μεγαλύτερη είναι η προσοχή του μοντέλου.

Αξίζει να σημειωθεί ότι για τα μοντέλα στο Σχήμα 5(1), (2) και (3) όλα εστιάζονται στην κεντρική περιοχή, η οποία σχετίζεται με τους υπότιτλους.

Ωστόσο, το μοντέλο που εκπαιδεύεται σε δείγματα που δημιουργούνται από το MEM-3 στο Σχήμα 5(4) δεν μπορεί να αναγνωρίσει με ακρίβεια καθαρές εικόνες επειδή μαθαίνει μόνο χαρακτηριστικά θορύβου. Επίσης στο κείμενο, τα μοντέλα στα τρία πρώτα εστιάζουν στη λέξη-κλειδί "γυαλί", ενώ το μοντέλο στο τελευταίο εστιάζει στις τρεις πρώτες λέξεις Αυτό μπορεί να οφείλεται στο ότι το MEM-3 βελτιστοποιεί πάντα το θόρυβο και τις τρεις πρώτες λέξεις ενεργοποιεί για τη δημιουργία συντομεύσεων.

Αυτά τα αποτελέσματα οπτικοποίησης δείχνουν ότι το EM και το UAP δεν είναι αποτελεσματικά στην προστασία πολυτροπικών δεδομένων, ενώ το MEM είναι σημαντικά αποτελεσματικό.

Εικόνα 6: Οπτικοποίηση t-SNE καθαρών δειγμάτων και MEM-3 βελτιστοποιημένων μη εκμαθήσιμων δειγμάτων κάτω από καθαρό μοντέλο και δηλητηριασμένο μοντέλο

Οπτικοποιούμε την κατανομή χαρακτηριστικών των καθαρών δειγμάτων στο κανονικό μοντέλο και την κατανομή χαρακτηριστικών των μη εκμαθήσιμων δειγμάτων που έχουν βελτιστοποιηθεί από το MEM3 στο δηλητηριασμένο μοντέλο στο Σχήμα 6. Χρησιμοποιούμε τρίγωνα για να αναπαραστήσουμε χαρακτηριστικά εικόνας, κύκλους για να αναπαραστήσουμε χαρακτηριστικά κειμένου και το ίδιο χρώμα αντιπροσωπεύει τις πέντε πανομοιότυπες αλλά μετασχηματισμένες εικόνες στο σύνολο δεδομένων και τις αντίστοιχες διαφορετικές περιγραφές τους.

Από το (α) μπορούμε να παρατηρήσουμε ότι κάτω από το καθαρό μοντέλο, οι ίδιες εικόνες και κείμενα συγκεντρώνονται εσωτερικά και τα αντίστοιχα ζεύγη εικόνας-κειμένου είναι κοντά το ένα στο άλλο.

Ωστόσο, στο (β), η ίδια εικόνα και κείμενο αποκλίνουν και μόνο ζεύγη εικόνων και κειμένου βρίσκονται κοντά το ένα στο άλλο. Αυτό δείχνει ότι η μέθοδός μας προωθεί αποτελεσματικά το μοντέλο για να μάθει συντομεύσεις μεταξύ ενεργοποιήσεων θορύβου και κειμένου.

Μελέτη περίπτωσης: Προστασία απορρήτου προσώπου

Πραγματοποιήσαμε μια μελέτη περίπτωσης εφαρμόζοντας τον θόρυβο MEM μας σε ένα πραγματικό σενάριο: προστασία προσωπικών εικόνων προσώπων και σχετικών πληροφοριών, όπως ονόματα σε πλατφόρμες μέσων κοινωνικής δικτύωσης.

Πραγματοποιήσαμε πειράματα χρησιμοποιώντας τη βάση δεδομένων PubFig, ένα μεγάλο σύνολο δεδομένων προσώπων πραγματικού κόσμου που περιέχει 58.797 εικόνες 200 ατόμων που συλλέχθηκαν από το Διαδίκτυο. Για αξιολόγηση ανάκτησης, επιλέγουμε τυχαία μια φωτογραφία από κάθε διασημότητα ως δοκιμαστικό σετ και χρησιμοποιούμε όλες τις υπόλοιπες εικόνες για εκπαίδευση.

Για ρεαλιστική λεπτομέρεια, αλλάξαμε τα ονόματά τους και παρέχουμε ένα σύνολο προτύπων κειμένου που σχετίζονται με αυτό το όνομα για τη δημιουργία υποτίτλων. Στη συνέχεια, χρησιμοποιούμε το MEM για να δημιουργήσουμε δείγματα που δεν μπορούν να μάθουν και να τα αξιολογήσουμε χρησιμοποιώντας διαφορετικά μοντέλα hacking. Τα αποτελέσματα φαίνονται στον Πίνακα 3.

Το MEM εμποδίζει αυτά τα βελτιωμένα μοντέλα να μάθουν συσχετισμούς μεταξύ των χαρακτηριστικών του προσώπου και του ονόματος, εμποδίζοντας έτσι την ακριβή ανάκτηση ατόμου στο δοκιμαστικό σετ.

Πίνακας 3: Επίδραση προστασίας μη εκμαθήσιμων δειγμάτων που δημιουργούνται από τη λεπτομέρεια του ResNet50 σε διαφορετικά προεκπαιδευμένα μοντέλα

συμπέρασμα

Σε αυτό το άρθρο, διερευνούμε την προστασία δεδομένων πολλαπλών τρόπων, εστιάζοντας ειδικά σε ζεύγη εικόνας-κειμένου, όπου δημιουργούμε πολυτροπικά μη εκμαθήσιμα δείγματα για να αποτρέψουμε την εκμετάλλευση από την πολυτροπική αντιθετική μάθηση. Επεκτείνουμε προηγούμενες μεθόδους ταξινόμησης σε αυτό το πλαίσιο, αποκαλύπτοντας περιορισμούς λόγω αυξημένων τροπολογιών και διάσπαρτων δεδομένων.

Υπό το φως αυτών των ευρημάτων, εισάγουμε μια νέα μέθοδο παραγωγής που ονομάζεται ελαχιστοποίηση σφαλμάτων πολλαπλών βημάτων (MEM), η οποία βασίζεται στο πλαίσιο EM. Το MEM δημιουργεί αποτελεσματικά συντομεύσεις μεταξύ των ενεργοποιήσεων θορύβου και κειμένου και επιδεικνύει δυνατότητα μεταφοράς μεταξύ διαφορετικών μοντέλων hacking.

Επιπλέον, επαληθεύουμε την αποτελεσματικότητα της προσέγγισής μας χρησιμοποιώντας διάφορα εργαλεία οπτικοποίησης. Η δουλειά μας ανοίγει μια νέα κατεύθυνση που αναμένεται να είναι εφαρμόσιμη σε άλλα ζεύγη τρόπων, όπως ζεύγη ήχου-κειμένου και ήχου-εικόνας.

Σχετικά με τον Συγγραφέα

Οι συγγραφείς αυτού του άρθρου είναι από το Ινστιτούτο Πληροφορικής, την Κινεζική Ακαδημία Επιστημών, το Τεχνολογικό Πανεπιστήμιο Nanyang, το Εθνικό Πανεπιστήμιο της Σιγκαπούρης και το Πανεπιστήμιο Sun Yat-sen. Λίστα συγγραφέων: Liu Xinwei, Jia Xiaojun, Xunyuan, Liang Siyuan, Cao Xiaochun.

Μεταξύ αυτών, ο πρώτος συγγραφέας Liu Xinwei είναι διδακτορικός φοιτητής στο Ινστιτούτο Πληροφορικής της Κινεζικής Ακαδημίας Επιστημών. Οι αντίστοιχοι συγγραφείς είναι ο καθηγητής Cao Xiaochun του Πανεπιστημίου Sun Yat-sen και η μεταδιδακτορική ερευνήτρια Jia Xiaojun του Τεχνολογικού Πανεπιστημίου Nanyang.

Βιβλιογραφικές αναφορές:

https://scst.sysu.edu.cn/members/caoxiaochun.html

https://jiaxiaojunqaq.github.io