Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Γράφτηκε από τον Zhao Yaqi

Πρόλογος

Η τεχνητή νοημοσύνη (AI) δεν είναι τέλειος συλλογισμός Ακόμη και τα επί του παρόντος δημοφιλή γλωσσικά μοντέλα (LM) θα δείχνουν επίσης τάσεις λάθους παρόμοιες με αυτές του ανθρώπου, ιδιαίτερα σημαντικές «επιδράσεις περιεχομένου».

Η συλλογιστική των ανθρώπων είναι πιο ακριβής και σίγουρη όταν επεξεργάζεται πληροφορίες που συνάδουν με υπάρχουσες γνώσεις ή πεποιθήσεις, αλλά ενδέχεται να προκύψουν προκαταλήψεις ή σφάλματα κατά την επεξεργασία πληροφοριών που είναι αντίθετες με αυτές τις γνώσεις ή πεποιθήσεις.

Αυτό το συμπέρασμα προέρχεται από μια πρόσφατη ερευνητική εργασία που δημοσιεύτηκε από την ομάδα Google DeepMind.

Οι άνθρωποι έχουν δύο συλλογιστικά συστήματα, το «διαισθητικό σύστημα» και το «ορθολογικό σύστημα», και η συλλογιστική διαδικασία επηρεάζεται εύκολα από την υπάρχουσα γνώση και εμπειρία. Για παράδειγμα, όταν έρχονται αντιμέτωποι με μια λογική αλλά παράλογη πρόταση, οι άνθρωποι συχνά συμπεραίνουν εσφαλμένα ότι είναι άκυρη.

Είναι ενδιαφέρον ότι η μελέτη δείχνει ότι τα μεγάλα μοντέλα γλώσσας Transformer μπορούν επίσης να επιδείξουν αυτήν την ανθρώπινη συμπεριφορά, επιδεικνύοντας τόσο διαισθητικές προκαταλήψεις όσο και συνεπή λογική συλλογιστική όταν τους ζητηθεί. Αυτό σημαίνει ότι τα γλωσσικά μοντέλα μπορούν επίσης να προσομοιώσουν την ανθρώπινη συμπεριφορά διπλού συστήματος και επίσης να εμφανίζουν «εμπειρικά» σφάλματα.

Σε αυτή την εργασία, η ερευνητική ομάδα συνέκρινε την απόδοση των LM και των ανθρώπων σε τρεις συλλογιστικές εργασίες: συμπέρασμα φυσικής γλώσσας (NLI), κρίνοντας τη λογική εγκυρότητα των συλλογισμών (Syllogisms) και την εργασία επιλογής Wason.

Σχήμα |. Περιεχόμενο λειτουργίας τριών τύπων συλλογιστικών εργασιών

Διαπιστώθηκε ότι η απόδοση τόσο των LM όσο και των ανθρώπων επηρεάστηκε από την αληθοφάνεια και την αξιοπιστία του σημασιολογικού περιεχομένου σε τρεις συλλογιστικές εργασίες.

Αυτή η ανακάλυψη αποκαλύπτει τους περιορισμούς των σημερινών συστημάτων τεχνητής νοημοσύνης στις συλλογιστικές τους δυνατότητες. Αν και αυτά τα μοντέλα έχουν καλή απόδοση στην επεξεργασία της φυσικής γλώσσας, εξακολουθούν να πρέπει να χρησιμοποιούνται με προσοχή όταν εμπλέκεται πολύπλοκος λογικός συλλογισμός.

Εργασία ένα:

συλλογισμός φυσικής γλώσσας

Το συμπέρασμα φυσικής γλώσσας (NLI) σημαίνει ότι το μοντέλο πρέπει να καθορίσει τη λογική σχέση μεταξύ δύο προτάσεων (όπως υπονοούμενα, αντίφαση ή ουδετερότητα). Η έρευνα δείχνει ότι τα γλωσσικά μοντέλα είναι επιρρεπή σε επιδράσεις περιεχομένου σε τέτοιες εργασίες, δηλαδή, όταν το σημασιολογικό περιεχόμενο της πρότασης είναι λογικό και αξιόπιστο, το μοντέλο είναι πιο πιθανό να κρίνει εσφαλμένα τα μη έγκυρα επιχειρήματα ως έγκυρα. Αυτό το φαινόμενο ονομάζεται «σημασιολογική μεροληψία» στον τομέα της τεχνητής νοημοσύνης και είναι επίσης ένα συνηθισμένο λάθος στον ανθρώπινο συλλογισμό.

Η ερευνητική ομάδα σχεδίασε μια σειρά εργασιών NLI για να ελέγξει την απόδοση των ανθρώπων και των LM στο χειρισμό αυτών των εργασιών. Τα αποτελέσματα δείχνουν ότι τόσο οι άνθρωποι όσο και οι LM είναι πιο πιθανό να κάνουν εσφαλμένες κρίσεις όταν αντιμετωπίζουν σημασιολογικά λογικές προτάσεις. Για παράδειγμα, το ακόλουθο παράδειγμα:

• Μπείτε: Η λακκούβα είναι μεγαλύτερη από τη θάλασσα.

• Ερώτηση: Αν η λακκούβα είναι μεγαλύτερη από τη θάλασσα, τότε...

• Επιλογή: Α «Η θάλασσα είναι μεγαλύτερη από τη λακκούβα» και Β «Η θάλασσα είναι μικρότερη από τη λακκούβα»

Αν και η λογική σχέση μεταξύ της υπόθεσης και του συμπεράσματος είναι λανθασμένη, τόσο οι LMs όσο και οι άνθρωποι τείνουν να πιστεύουν ότι το συμπέρασμα Β είναι σωστό λόγω του ορθολογισμού της προκαταρκτικής πρότασης. Συγκριτικά, τα ποσοστά σφαλμάτων των ανθρώπων και των γλωσσικών μοντέλων στις εργασίες συμπερασμάτων φυσικής γλώσσας είναι παρόμοια, υποδεικνύοντας ότι οι συλλογιστικές δυνατότητες των γλωσσικών μοντέλων είναι κοντά στα ανθρώπινα επίπεδα σε ορισμένες πτυχές και η τεχνητή νοημοσύνη μπορεί να είναι τόσο ευαίσθητη όσο και η ανθρώπινη κατά την κατανόηση και την επεξεργασία καθημερινών συνομιλιών Το περιεχόμενο είναι παραπλανητικό.

Εικόνα | Αναλυτικά αποτελέσματα της εργασίας NLI. Οι άνθρωποι (αριστερά) και όλα τα μοντέλα δείχνουν σχετικά υψηλές επιδόσεις, με σχετικά μικρές διαφορές στην ακρίβεια μεταξύ συμπερασμάτων που συνάδουν με πεποιθήσεις και συμπεράσματα που παραβιάζουν πεποιθήσεις ή ακόμα και ανοησίες.

Εργασία δύο:

Κρίση λογικής εγκυρότητας συλλογισμού

Ο συλλογισμός είναι μια κλασική μορφή λογικού συλλογισμού που συνήθως αποτελείται από δύο υποθέσεις και ένα συμπέρασμα. Για παράδειγμα: "Όλοι οι άνθρωποι είναι θνητοί, ο Σωκράτης είναι άνθρωπος, άρα ο Σωκράτης είναι θνητός". Αν και τα γλωσσικά μοντέλα είναι εξαιρετικά στην επεξεργασία της φυσικής γλώσσας, εξακολουθούν να είναι επιρρεπή σε ανθρώπινα λάθη σε αυστηρές λογικές συλλογιστικές εργασίες.

Για να το ελέγξουν αυτό, οι ερευνητές σχεδίασαν πολλαπλές συλλογιστικές εργασίες και συνέκριναν την απόδοση ανθρώπων και LM. Για παράδειγμα, εδώ είναι μια τυπική εργασία συλλογισμού:

• Προϋπόθεση 1: Όλα τα όπλα είναι όπλα.

• Προϋπόθεση 2: Όλα τα όπλα είναι επικίνδυνα αντικείμενα.

• Συμπέρασμα: Όλα τα όπλα είναι επικίνδυνα αντικείμενα.

Σε αυτήν την περίπτωση, το σημασιολογικό περιεχόμενο των υποθέσεων και του συμπεράσματος είναι πολύ λογικό, επομένως είναι εύκολο τόσο για τους LM όσο και για τους ανθρώπους να κρίνουν ότι το συμπέρασμα είναι σωστό. Ωστόσο, όταν το σημασιολογικό περιεχόμενο δεν δικαιολογείται πλέον, για παράδειγμα:

• Προϋπόθεση 1: Όλα τα επικίνδυνα αντικείμενα είναι όπλα.

• Προϋπόθεση 2: Όλα τα όπλα είναι όπλα.

• Συμπέρασμα: Όλα τα επικίνδυνα αντικείμενα είναι όπλα.

Παρά το γεγονός ότι είναι λογικά λάθος, οι LM και οι άνθρωποι μερικές φορές πιστεύουν λανθασμένα ότι ένα συμπέρασμα είναι σωστό λόγω της αληθοφάνειας των προτάσεων της υπόθεσης.

Σχήμα |. Αναλυτικά αποτελέσματα της λογικής εργασίας συλλογισμού. Τόσο οι άνθρωποι όσο και τα μοντέλα εμφανίζουν προφανή αποτελέσματα περιεχομένου, εάν το συμπέρασμα είναι συνεπές με τις προσδοκίες (κυανό), υπάρχει μια ισχυρή προκατάληψη να πιστεύουμε ότι το επιχείρημα παραβιάζει τις προσδοκίες (μωβ), υπάρχει μια συγκεκριμένη προκατάληψη το όρισμα δεν είναι έγκυρο.

Εργασία τρίτη:

Wason Select

Η εργασία επιλογής Wason είναι μια κλασική εργασία λογικής συλλογιστικής που έχει σχεδιαστεί για να ελέγξει την ικανότητα ενός ατόμου να κατανοεί και να επαληθεύει δηλώσεις υπό όρους. Στο πείραμα, στους συμμετέχοντες έδειξαν τέσσερις κάρτες, η καθεμία με ένα γράμμα ή έναν αριθμό, όπως «D», «F», «3» και «7». Το καθήκον είναι να προσδιορίσετε ποια φύλλα πρέπει να αναποδογυριστούν, επαληθεύοντας έτσι τον κανόνα "αν ένα φύλλο έχει ένα D στο μπροστινό μέρος, τότε ένα 3 στο πίσω μέρος."

Η μελέτη διαπίστωσε ότι τα γλωσσικά μοντέλα και οι άνθρωποι είχαν παρόμοια ποσοστά λάθους σε αυτήν την εργασία όπως και στις δύο προηγούμενες εργασίες, και και οι δύο έτειναν να επιλέγουν κάρτες χωρίς πληροφοριακή αξία, για παράδειγμα, επιλέγοντας "3" αντί για "7". Αυτό το σφάλμα παρουσιάζεται επειδή τόσο οι άνθρωποι όσο και οι LM τείνουν να επιλέγουν κάρτες που σχετίζονται άμεσα με τα προαπαιτούμενα και όχι εκείνες που επικυρώνουν πραγματικά τους κανόνες.

Ωστόσο, τόσο το μοντέλο όσο και η ανθρώπινη απόδοση βελτιώθηκαν όταν οι κανόνες της εργασίας αφορούσαν κοινωνικά σχετικό περιεχόμενο, όπως η ηλικία κατανάλωσης και ο τύπος του ποτού. Για παράδειγμα:

• Κανόνας: Εάν κάποιος πίνει αλκοόλ, πρέπει να είναι άνω των 18 ετών.

• Περιεχόμενο κάρτας: Πιείτε μπύρα, πιείτε κόκα κόλα, 16 ετών, 20 ετών.

Εικόνα | Αναλυτικά αποτελέσματα της εργασίας επιλογής Watson. Κάθε μοντέλο γλώσσας παρουσιάζει ορισμένα πλεονεκτήματα σε ρεαλιστικούς κανόνες.

Σε αυτή την περίπτωση, οι άνθρωποι και οι LM ήταν πιο πιθανό να επιλέξουν τις σωστές κάρτες, δηλαδή «πιείτε μπύρα» και «16 ετών». Αυτό υποδηλώνει ότι στην καθημερινή ζωή, η τεχνητή νοημοσύνη, όπως και οι άνθρωποι, θα έχει καλύτερες επιδόσεις σε γνώριμες καταστάσεις.

Ελλείψεις και προοπτικές

Συνολικά, η ερευνητική ομάδα πιστεύει ότι τα τρέχοντα γλωσσικά μοντέλα έχουν παρόμοια απόδοση με τους ανθρώπους σε συλλογιστικές εργασίες και μάλιστα κάνουν λάθη με τον ίδιο τρόπο, ειδικά σε συλλογιστικές εργασίες που περιλαμβάνουν σημασιολογικό περιεχόμενο. Αν και αποκαλύπτει τους περιορισμούς του γλωσσικού μοντέλου, παρέχει επίσης μια κατεύθυνση για τη βελτίωση των δυνατοτήτων συλλογιστικής τεχνητής νοημοσύνης στο μέλλον.

Ωστόσο, αυτή η μελέτη έχει επίσης ορισμένους περιορισμούς.

Πρώτον, η ερευνητική ομάδα εξέτασε μόνο μερικές εργασίες, γεγονός που περιορίζει την πλήρη κατανόηση των επιπτώσεων του περιεχομένου των ανθρώπων και των γλωσσικών μοντέλων σε διαφορετικές εργασίες. Η πλήρης κατανόηση των ομοιοτήτων και των διαφορών τους απαιτεί περαιτέρω επικύρωση σε ένα ευρύτερο φάσμα εργασιών.

Επιπλέον, τα γλωσσικά μοντέλα εκπαιδεύονται σε πολύ περισσότερα γλωσσικά δεδομένα από οποιονδήποτε άνθρωπο, καθιστώντας δύσκολο τον προσδιορισμό του εάν αυτά τα αποτελέσματα θα εμφανίζονταν σε κάτι πιο κοντά στην κλίμακα των δεδομένων ανθρώπινης γλώσσας.

Οι ερευνητές προτείνουν ότι οι μελλοντικές μελέτες θα μπορούσαν να διερευνήσουν πώς να μειώσουν την προκατάληψη περιεχομένου με αιτιώδη χειραγώγηση της εκπαίδευσης μοντέλων και να αξιολογήσουν εάν αυτές οι προκαταλήψεις εξακολουθούν να εμφανίζονται στην εκπαίδευση σε μια κλίμακα πιο παρόμοια με τα ανθρώπινα δεδομένα.

Επιπλέον, η μελέτη του αντίκτυπου των εκπαιδευτικών παραγόντων στη συλλογιστική ικανότητα του μοντέλου και του τρόπου με τον οποίο τα διαφορετικά χαρακτηριστικά εκπαίδευσης επηρεάζουν την εμφάνιση των αποτελεσμάτων περιεχομένου θα βοηθήσει επίσης στην περαιτέρω κατανόηση των ομοιοτήτων και διαφορών μεταξύ γλωσσικών μοντέλων και ανθρώπων στη διαδικασία συλλογισμού, καθιστώντας τα πιο ευρέως χρησιμοποιούμενα. Παίξτε μεγαλύτερο ρόλο στα σενάρια εφαρμογών.

Σύνδεσμος σε χαρτί:

https://academic.oup.com/pnasnexus/article/3/7/pgae233/7712372

｜Κάντε κλικ για να με ακολουθήσετε και θυμηθείτε να αστέρια｜