Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Γράφτηκε από |. Ma Xuewei

Από τη χρήση ναρκωτικών για την τόνωση του εγκεφάλου στο "Superbody" έως τη χρήση ηλεκτρονικών παρεμβολών για την εισβολή στον εγκεφαλικό χώρο στην κουλτούρα του κυβερνοπάνκ, οι άνθρωποι είχαν πολλές φαντασιώσεις σχετικά με τη δυνατότητα χειραγώγησης του ανθρώπινου εγκεφάλου. Ας φανταστούμε,Τι θα γινόταν αν οι άνθρωποι μπορούσαν πραγματικά να χειριστούν άμεσα κάθε νευρώνα στον ανθρώπινο εγκέφαλο;

Μέχρι τότε, οι άνθρωποι θα είναι σε θέση να κατανοήσουν άμεσα τον ρόλο αυτών των νευρώνων στην αντίληψη συγκεκριμένων αντικειμένων και ελπίζουμε να κάνουν κάποια πράγματα πολύ «επιστημονικής φαντασίας».

Στην πραγματική ζωή, ένα τέτοιο πείραμα είναι σχεδόν αδύνατο να εφαρμοστεί στον ανθρώπινο εγκέφαλο, αλλά είναι εφικτό σε τεχνητά νευρωνικά δίκτυα. Ωστόσο, επειδή τα μοντέλα συχνά περιέχουν εκατομμύρια νευρώνες, είναι πολύ μεγάλα και πολύπλοκα και απαιτούν πολύ ανθρώπινο δυναμικό για να τα κατανοήσουν, γεγονός που καθιστά την κατανόηση μοντέλων μεγάλης κλίμακας μια πολύ απαιτητική εργασία.

Για το σκοπό αυτό, μια ερευνητική ομάδα από το Εργαστήριο Επιστήμης Υπολογιστών και Τεχνητής Νοημοσύνης του MIT (MIT CSAIL) ξεκίνησε ένα σύστημα που χρησιμοποιεί νευρωνικά μοντέλα για την αυτόματη εκτέλεση εργασιών κατανόησης μοντέλων - MAIA, ή "Πολυτροπικός αυτόματος ερμηνεύσιμος παράγοντας”。

Το MAIA χρησιμοποιεί προεκπαιδευμένα οπτικά γλωσσικά μοντέλα για να αυτοματοποιήσει το έργο της κατανόησης των νευρικών μοντέλων.Ο αρθρωτός σχεδιασμός επιτρέπει στη MAIA ναΕυελιξία αξιολόγησης οποιουδήποτε συστήματος και εύκολη προσθήκη νέων πειραματικών εργαλείων . Επιπλέον, μπορεί να αυτοματοποιήσει πολύπλοκα πειράματα, να χρησιμοποιήσει επαναληπτικές πειραματικές μεθόδους για τον έλεγχο υποθέσεων και να ενημερώσει υποθέσεις με βάση πειραματικά αποτελέσματα.

Ο Jacob Steinhardt, επίκουρος καθηγητής στο Πανεπιστήμιο της Καλιφόρνια, στο Μπέρκλεϋ, πιστεύει ότι η επέκταση αυτών των μεθόδων μπορεί να είναι ένας από τους πιο σημαντικούς τρόπους για την κατανόηση και την ασφαλή επίβλεψη συστημάτων τεχνητής νοημοσύνης. Ωστόσο, η ερευνητική ομάδα πιστεύει ότιΤο ενισχυμένο MAIA δεν θα αντικαταστήσει την ανθρώπινη επίβλεψη των συστημάτων τεχνητής νοημοσύνης . Η MAIA εξακολουθεί να απαιτεί ανθρώπινη επίβλεψη για τον εντοπισμό σφαλμάτων όπως η μεροληψία επιβεβαίωσης και οι αποτυχίες δημιουργίας/επεξεργασίας εικόνων.

Ποιο είναι το πραγματικό αποτέλεσμα;

Ενώ οι υπάρχουσες μέθοδοι αυτοματοποιημένης ερμηνείας απλώς επισημαίνουν ή οπτικοποιούν δεδομένα μία φορά, η MAIA είναι σε θέση να δημιουργεί υποθέσεις, να σχεδιάζει πειράματα για να τα δοκιμάσει και να βελτιώνει την κατανόησή τους μέσω επαναληπτικής ανάλυσης. Συνδυάζοντας προεκπαιδευμένα μοντέλα οπτικής γλώσσας (VLM) με μια βιβλιοθήκη εργαλείων ερμηνευσιμότητας, αυτή η πολυτροπική προσέγγιση μπορεί να απαντήσει σε ερωτήματα των χρηστών γράφοντας και εκτελώντας στοχευμένα πειράματα για συγκεκριμένα μοντέλα, βελτιώνοντας συνεχώς την προσέγγισή της μέχρι να μπορέσει να δώσει ολοκληρωμένη απάντηση.

Ο πυρήνας του πλαισίου MAIA είναι ένας πράκτορας που καθοδηγείται από ένα προεκπαιδευμένο πολυτροπικό μοντέλο (όπως το GPT-4V), το οποίο είναι σε θέση να εκτελεί αυτόματα πειράματα για να εξηγήσει τη συμπεριφορά άλλων συστημάτων. Αυτό το κάνει συνδυάζοντας ερμηνεύσιμες υπορουτίνες σε προγράμματα Python.

Εικόνα |. Αρχιτεκτονική MAIA

Η ερευνητική ομάδα αξιολόγησε το MAIA στο παράδειγμα περιγραφής νευρώνων Η μελέτη έδειξε ότι το MAIA πέτυχε εξαιρετικά αποτελέσματα περιγραφής τόσο σε πραγματικά μοντέλα όσο και σε σύνολα δεδομένων συνθετικών νευρώνων, με προγνωστικές ικανότητες καλύτερες από τις βασικές μεθόδους και συγκρίσιμες με τους ειδικούς.

Σχήμα |. Αξιολόγηση MAIA Περιγραφή

Επιπλέον, το MAIA δείχνει καλές δυνατότητες εφαρμογής στην αφαίρεση ψευδών χαρακτηριστικών και στην αποκάλυψη προκαταλήψεων, κάτι που μπορεί να βοηθήσει τους ανθρώπινους χρήστες να κατανοήσουν καλύτερα τη συμπεριφορά του μοντέλου και να βελτιώσουν την απόδοση και τη δικαιοσύνη του μοντέλου.

Χρησιμοποιήστε το MAIA για να αφαιρέσετε πλαστά χαρακτηριστικά

Τα λανθασμένα χαρακτηριστικά μπορούν να επηρεάσουν την ευρωστία του μοντέλου σε πραγματικά σενάρια. Η MAIA μπορεί να εντοπίσει και να αφαιρέσει ψευδή χαρακτηριστικά στο μοντέλο, βελτιώνοντας έτσι την στιβαρότητα του μοντέλου. Η ερευνητική ομάδα χρησιμοποίησε το ResNet-18 για να εκπαιδεύσει το σύνολο δεδομένων Spawious, το οποίο περιέχει τέσσερις ράτσες σκύλων με διαφορετικό υπόβαθρο.

Στο σύνολο δεδομένων, κάθε ράτσα σκύλου συνδέεται ψευδώς με ένα συγκεκριμένο υπόβαθρο (π.χ. χιόνι, ζούγκλα, έρημος, παραλία), ενώ στο σετ δοκιμής, τα ζεύγη φυλής και φόντου είναι χαοτικά. Η ερευνητική ομάδα χρησιμοποίησε το MAIA για να βρει ένα υποσύνολο νευρώνων τελικού στρώματος που θα μπορούσαν να προβλέψουν σθεναρά τη φυλή ενός μεμονωμένου σκύλου ανεξάρτητα από πλαστά χαρακτηριστικά, απλώς αλλάζοντας το ερώτημα στο μήνυμα του χρήστη.

Τα αποτελέσματα δείχνουν ότι το MAIA μπορεί να αφαιρέσει αποτελεσματικά τα πλαστά χαρακτηριστικά στο μοντέλο, βελτιώνοντας έτσι την ευρωστία του μοντέλου.

Χρήση MAIA για την αποκάλυψη προκατάληψης

Τα μοντέλα μπορεί να έχουν προκαταλήψεις που τα κάνουν να έχουν κακή απόδοση σε ορισμένες καταστάσεις. Και η MAIA μπορεί αυτόματα να αποκαλύψει προκαταλήψεις στα μοντέλα. Η ερευνητική ομάδα χρησιμοποίησε το ResNet-152 για εκπαίδευση στο ImageNet και χρησιμοποίησε το MAIA για να ελέγξει την προκατάληψη στην έξοδο του μοντέλου.

Κατά τη διάρκεια του πειράματος, η MAIA κλήθηκε να δημιουργήσει εικόνες που σχετίζονται με συγκεκριμένες κατηγορίες και παρατήρησε την απόκριση του μοντέλου σε αυτές τις εικόνες. Αργότερα, η MAIA ανακάλυψε ότι ορισμένα μοντέλα είχαν προτιμήσεις για συγκεκριμένες υποκατηγορίες ή εικόνες που σχετίζονται με συγκεκριμένες κατηγορίες.

Αυτό δείχνει ότι το MAIA μπορεί να βοηθήσει στον εντοπισμό προκαταλήψεων στα μοντέλα και, ως εκ τούτου, στη βελτίωσή τους.

Σχήμα |. Ανίχνευση μεροληψίας μοντέλου MAIA

Ελλείψεις και προοπτικές

Αν και το MAIA παρουσιάζει μεγάλες δυνατότητες στην αυτόματη ερμηνευτικότητα, εξακολουθούν να υπάρχουν ορισμένοι περιορισμοί.

Πρώτον, η ικανότητα επεξήγησης της MAIA περιορίζεται από τα εργαλεία που χρησιμοποιεί, όπως το Stable Diffusion και το GPT-4. Οι περιορισμοί αυτών των εργαλείων (π.χ. ποιότητα παραγωγής εικόνας, κόστος, περιορισμοί πρόσβασης) επηρεάζουν άμεσα την απόδοση του MAIA. Στο μέλλον, θα μπορούσατε να εξετάσετε το ενδεχόμενο να αναπτύξετε πιο ισχυρά εσωτερικά εργαλεία ή να αναζητήσετε εναλλακτικές λύσεις ανοιχτού κώδικα για να βελτιώσετε την αξιοπιστία και την προσβασιμότητα του συστήματός σας.

Δεύτερον, η εξήγηση του MAIA δεν είναι επίσημη επαλήθευση, αλλά βασίζεται σε πειραματικά αποτελέσματα και περιγραφές φυσικής γλώσσας. Αυτό μπορεί να οδηγήσει σε μεροληπτικές ή παραπλανητικές ερμηνείες. Στο μέλλον, οι επίσημες μέθοδοι επαλήθευσης (όπως αιτιώδης συλλογιστική, θεωρητική ανάλυση) μπορούν να θεωρηθούν ότι θα ενσωματωθούν στο MAIA για τη βελτίωση της ακρίβειας και της αξιοπιστίας των εξηγήσεων.

Επιπλέον, η MAIA δεν μπορεί να αποφύγει εντελώς κοινά λάθη όπως μεροληψία επιβεβαίωσης, υπερερμηνεία, συμπεράσματα μικρών δειγμάτων κ.λπ. Στο μέλλον, η εισαγωγή ενός μηχανισμού αυτοαναστοχασμού μπορεί να θεωρηθεί ότι θα επιτρέψει στη MAIA να εντοπίσει και να διορθώσει τα δικά της λάθη και να βελτιώσει την ευρωστία της ερμηνείας.

Προσβλέποντας στο μέλλον, ο Rott Shaham, συν-συγγραφέας της εργασίας, είπε: "Νομίζω ότι το επόμενο φυσικό βήμα για το εργαστήριό μας είναι να προχωρήσουμε πέρα ​​από τα τεχνητά συστήματα και να εφαρμόσουμε αυτά τα παρόμοια πειράματα στην ανθρώπινη αντίληψη. Παραδοσιακά, αυτό απαιτούσε χειροκίνητο σχεδιασμό και δοκιμή ερεθισμάτων , Αυτή είναι μια διαδικασία έντασης εργασίας Με τον αντιπρόσωπό μας, μπορούμε να κλιμακώσουμε αυτή τη διαδικασία και να σχεδιάσουμε και να δοκιμάσουμε έναν μεγάλο αριθμό ερεθισμάτων ταυτόχρονα.