Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Μηχανικής Καρδιάς

Επιμέλεια: Zhang Qian

«Η μηχανική μάθηση ζει σε μια φούσκα που ζηλεύουν οι ρομποτικοί, οι χημικοί, οι βιολόγοι και οι νευροεπιστήμονες και καθώς αρχίζει πραγματικά να απογειώνεται, όλοι θα αντιμετωπίσουμε τα ίδια προβλήματα με τα οποία αντιμετωπίζουν όλοι οι άλλοι εδώ και χρόνια ρεαλιστικά εμπόδια.»

Μερικοί άνθρωποι λένε ότι η πρόοδος στον τομέα της ρομποτικής είναι αργή, ή ακόμα και μη προοδευτική σε σύγκριση με άλλα υποπεδία της μηχανικής μάθησης.

Ο Alex Irpan, επιστήμονας ρομποτικής στο Google DeepMind και συμμετέχων σε έργα ενσωματωμένης νοημοσύνης όπως το SayCan, το RT-1 και το RT-2, συμφωνεί. Αλλά πιστεύει ότι αυτό συμβαίνει επειδή η ρομποτική είναι ένα πεδίο στενά συνδεδεμένο με την πραγματικότητα και η πολυπλοκότητα της πραγματικότητας καθορίζει ότι αναπόφευκτα θα χτυπήσουν σε έναν τοίχο. Σημείωσε επίσης ότι αυτά τα προβλήματα δεν είναι μοναδικά στη ρομποτική. Το ίδιο πρόβλημα ισχύει για τεχνικές όπως τα μεγάλα γλωσσικά μοντέλα (LLM). Αυτά τα μοντέλα αντιμετωπίζουν παρόμοιες πολυπλοκότητες με τη ρομποτική όταν αντιμετωπίζουν τον πραγματικό κόσμο.

Πρόσφατα, έγραψε ένα blog με τίτλο «Οι τραγωδίες της πραγματικότητας έρχονται για σένα» για να καταδείξει αυτό το σημείο.

Η τραγωδία της πραγματικότητας έρχεται σε σας

Το 2023, παρακολούθησα ένα συνέδριο ML. Ο Ye Weiyang ήταν μεθυσμένος και το θέμα μετατράπηκε σε μια ερώτηση: "Αν μπορούσατε να δώσετε τους πόρους οποιουδήποτε υποπεδίου μηχανικής μάθησης σε ένα άλλο υποπεδίο, ποιο θα αποκόψατε και σε ποιον θα δίνατε τους πόρους;"

Δεν θυμάμαι τι είπε κανείς, αλλά ένα άτομο είπε ότι επρόκειτο να κόψουν τα ρομπότ. Όταν πίεσα περισσότερο, είπαν ότι η ρομποτική προχωρούσε πολύ αργά και ότι τίποτα δεν συνέβαινε σε σχέση με άλλους τομείς.

Λένε ότι η ρομποτική έχει προχωρήσει πιο αργά από το αμιγώς λογισμικό υποπεδίο της μηχανικής μάθησης, και νομίζω ότι έχουν δίκιο, αλλά θα ήθελα να προσθέσω δύο ακόμη σημεία:

• Ο λόγος που τα ρομπότ μαθαίνουν πιο αργά είναι επειδή είναι δύσκολο να κάνουν τη διαφορά χωρίς να λύσουν δύσκολα προβλήματα.
• Οι προκλήσεις της ρομποτικής δεν είναι μοναδικές για τα ρομπότ.

Στον τομέα της ρομποτικής, μια κοινή παροιμία είναι ότι «η πραγματικότητα είναι ακατάστατη». Σε σχέση με τον κώδικα, θα το επεκτείνω στο "η πραγματικότητα είναι πολύπλοκη". Στη ρομποτική, έχετε την τάση να ωθήσετε την ακατάστατη πραγματικότητα σε ένα αρκετά καλό επίπεδο αφαίρεσης ώστε ο κώδικας να μπορεί να λειτουργήσει πάνω από αυτήν. Ως πεδίο, η επιστήμη των υπολογιστών έχει περάσει δεκαετίες δημιουργώντας καλά επίπεδα αφαίρεσης μεταξύ υλικού και λογισμικού. Ο κώδικας περιγράφει τον τρόπο παροχής ενέργειας στον σκληρό δίσκο, τον επεξεργαστή και την οθόνη και είναι αρκετά αξιόπιστος που δεν χρειάζεται καν να το σκεφτώ.

Υπάρχουν πολλά οφέλη για να το κάνετε αυτό. Μόλις ολοκληρώσετε τη σκληρή δουλειά και μεταφέρετε την πρόοδο της εργασίας σας σε έναν αφηρημένο λογικό χώρο, όλα γίνονται πιο εύκολα. Ο κώδικας και τα δεδομένα είναι απίστευτα αναπαραγώγιμα. Συγχρονίστηκα αντίγραφα του αρχείου που αντιπροσωπεύουν ένα προσχέδιο αυτής της ανάρτησης ιστολογίου σε 3 συσκευές χωρίς καν να σκεφτώ.

Ωστόσο, όπως είπε ο Joel Spolsky, όλες οι αφαιρέσεις έχουν τρύπες σε κάποιο βαθμό, και θεωρώ ότι οι τρύπες στη ρομποτική τείνουν να είναι ακόμη μεγαλύτερες. Υπάρχουν πολλοί τρόποι με τους οποίους τα πράγματα μπορούν να πάνε στραβά που δεν έχουν καμία σχέση με την ορθότητα του κώδικά σας.

Αυτό έχει να κάνει με κάποιες βασικές αρχές του αντικειμένου; Λίγο. Πολλά υλικά ρομποτικής είναι πιο πειραματικά από φορητούς υπολογιστές ή διακομιστές Linux. Η ρομποτική των καταναλωτών δεν είναι ακόμη μεγάλη βιομηχανία. «Πειραματικό» σημαίνει συχνά «περίεργες, πιο επιρρεπείς σε αποτυχίες καταστάσεις».

Ωστόσο, δεν νομίζω ότι το υλικό είναι η κύρια αιτία του προβλήματος. Η πραγματικότητα είναι η ρίζα του προβλήματος. Ο Benjamin Holson το λέει πολύ καλά στο άρθρο του «Mythical Non-Roboticist»:

Η πρώτη δυσκολία είναι ότι τα ρομπότ πρέπει να αντιμετωπίσουν την ατελή αντίληψη και την ατελή εκτέλεση στον πραγματικό κόσμο. Η παγκόσμια μεταβλητή κατάσταση είναι ένα κακό στυλ προγραμματισμού γιατί είναι πραγματικά δύσκολο να το αντιμετωπίσεις, αλλά για το ρομποτικό λογισμικό ολόκληρος ο φυσικός κόσμος είναι παγκοσμίως μεταβλητή κατάσταση και μπορείτε μόνο να την παρατηρήσετε αναξιόπιστα και να ελπίζετε ότι η Ενέργειά σας θα σας φέρει πιο κοντά σε αυτό που θέλετε να πετύχετε.

Η έρευνα στη ρομποτική βασίζεται στην οικοδόμηση νέων γεφυρών μεταξύ της πραγματικότητας και του λογισμικού, αλλά αυτό συμβαίνει και εκτός της έρευνας στη ρομποτική. Οποιοδήποτε λογισμικό που διασυνδέεται με την πραγματικότητα έχει ατελή κατανόηση της πραγματικότητας. Οποιοδήποτε λογισμικό επιχειρεί να επηρεάσει την αλλαγή στον πραγματικό κόσμο πρέπει να αντιμετωπίσει την παγκόσμια μεταβλητή κατάσταση της πραγματικότητας. Οποιοδήποτε λογισμικό του οποίου η συμπεριφορά εξαρτάται από το τι συμβαίνει στην πραγματικότητα προκαλεί αντίπαλο θόρυβο και πολυπλοκότητα.

Το παιχνίδι AI είναι ένα καλό παράδειγμα. Το σκακιστικό AI είναι υπεράνθρωπα αξιόπιστο. Ωστόσο, ορισμένοι υπεράνθρωποι Go AI μπορούν να νικηθούν εάν παίζετε σκάκι με συγκεκριμένο τρόπο, όπως ανακάλυψαν οι Tony T. Wang et al στο έγγραφο ICML 2023 "Adversarial Policies Beat Superhuman Go AIs". Οι τεχνικές αντιπάλου βρίσκουν στρατηγικές που είναι αρκετά σαφείς ώστε οι άνθρωποι να μπορούν να τις αναπαράγουν.

Στο Παράρτημα G.2, ένας από τους συγγραφείς μας, ειδικός στο Go, μπόρεσε να εφαρμόσει αυτήν την [κυκλική] επίθεση μαθαίνοντας τα αρχεία παιχνιδιού του αντιπάλου χωρίς καμία αλγοριθμική βοήθεια. Έπαιξαν υπό τυπικές ανθρώπινες συνθήκες στον διακομιστή KGS online Go και πέτυχαν ποσοστό νίκης άνω του 90% στα κορυφαία παιχνίδια ρομπότ KataGo που δεν σχετίζονται με τον συγγραφέα.
Ο συγγραφέας μάλιστα κατάφερε να κερδίσει δίνοντας στο ρομπότ 9 μειονεκτήματα, το οποίο είναι ένα τεράστιο πλεονέκτημα: ένας άνθρωπος επαγγελματίας σκακιστής με αυτά τα μειονεκτήματα θα είχε σχεδόν 100% ποσοστό νίκης έναντι οποιουδήποτε αντιπάλου, ανθρώπου ή τεχνητής νοημοσύνης. Κέρδισαν επίσης το KataGo και το Leela Zero, οι οποίες έκαναν 100.000 αναζητήσεις ανά παιχνίδι, κάτι που συνήθως ξεπερνά τις ανθρώπινες δυνατότητες. Από τότε, άλλοι άνθρωποι έχουν χρησιμοποιήσει την κυκλική επίθεση για να νικήσουν διάφορα άλλα κορυφαία Go AI.

Εν τω μεταξύ, πριν από μερικά χρόνια, το OpenAI δημιούργησε ένα σύστημα που νίκησε τον παγκόσμιο πρωταθλητή του Dota 2. Αφού άνοιξε το σύστημα στο κοινό για να δοκιμάσει την ευρωστία του, μια ομάδα επινόησε μια στρατηγική που οδήγησε σε ένα σερί 10 νικών.

Με βάση αυτό, μπορεί να έχετε την απαισιόδοξη άποψη ότι ακόμη και μια απλή «πραγματικότητα», όπως η σύνδεση μιας πλακέτας Go 19 x 19 ή του Dota 2, έχει αρκετή επιπλέον πολυπλοκότητα για να κάνει τη στιβαρή συμπεριφορά προκλητική. Νομίζω ότι αυτή η άποψη είναι άδικη, καθώς κανένα από τα δύο συστήματα δεν έχει την ευρωστία ως τον υψηλότερο στόχο, αλλά νομίζω ότι κάνουν μια ενδιαφέρουσα μελέτη περίπτωσης.

Τον τελευταίο καιρό, υπάρχει ένα κύμα διαφημιστικής εκστρατείας γύρω από τα LLM - τι μπορούν να κάνουν και πού μπορούν να εφαρμοστούν. Έννοια σε αυτό είναι η πεποίθηση ότι το LLM μπορεί να αλλάξει δραματικά τον τρόπο που οι άνθρωποι αλληλεπιδρούν με την τεχνολογία στην εργασία και στον ελεύθερο χρόνο. Με άλλα λόγια, το LLM θα αλλάξει τον τρόπο που αλληλεπιδρούμε με την πραγματικότητα. Στην πραγματικότητα, έχω πηδήξει στη διαφημιστική εκστρατεία, συγκεκριμένα την υποψία μου ότι το υποκείμενο μοντέλο έχει υπερ-διαφημιστεί βραχυπρόθεσμα και υποτιμάται μακροπρόθεσμα. Ωστόσο, σημαίνει επίσης ότι, για έναν τομέα που ιστορικά ήταν κακός στο να λαμβάνει υπόψη την πραγματικότητα, όλο το χάος της πραγματικότητας έρχεται.

Στο ίδιο συνέδριο ML όπου αυτός ο τύπος είπε ότι η ρομποτική είναι σπατάλη πόρων, ανέφερα ότι κάναμε βασικά πειράματα μοντέλων με πραγματικά ρομπότ. Μερικοί άνθρωποι είπαν ότι φαινόταν λίγο τρομακτικό και τους διαβεβαίωσα ότι ήταν απλώς ένα ερευνητικό πρωτότυπο. Αλλά βρίσκω επίσης λίγο τρομακτικό το λογισμικό δημιουργίας και εκτέλεσης LLM και βρίσκω ενδιαφέρον το ότι ανησυχούν αόριστα για το ένα αλλά όχι για το άλλο. Οι άνθρωποι στη Silicon Valley είναι λίγο αντιφατικοί. Πιστεύουν τόσο ότι το λογισμικό μπορεί να τροφοδοτήσει τις νεοφυείς επιχειρήσεις να επιτύχουν εκπληκτικές αλλαγές και ότι το λογισμικό τους δεν αξίζει σκέψης ή προβληματισμού. Πιστεύω ότι ο κόσμος των bit είναι τόσο μέρος της πραγματικότητας όσο και ο κόσμος των ατόμων. Λειτουργούν σε διαφορετικά επίπεδα, αλλά είναι όλα μέρος της πραγματικότητας.

Έχω παρατηρήσει (με κάποιο schadenfreude) ότι οι επαγγελματίες LLM αρχίζουν να αντιμετωπίζουν τα ίδια σημεία πόνου που είχε συναντήσει η ρομποτική στο παρελθόν. Για παράδειγμα, "Δεν μπορούμε να επαναλάβουμε αυτές τις εκπαιδεύσεις επειδή είναι πολύ ακριβό". Ναι, αυτό το θέμα έχει συζητηθεί στον τομέα της ρομποτικής για τουλάχιστον δέκα χρόνια. Ένα άλλο παράδειγμα: "Δεν μπορώ να πείσω τον Bing να μου πει την ημερομηνία κυκλοφορίας του Avatar 2, επειδή συνεχίζει να ανασύρει ειδήσεις για τον εαυτό του και να διορθώνεται πριν τις δημιουργήσει."

Τώρα ζούμε σε έναν κόσμο όπου οποιοδήποτε κείμενο που είναι διαθέσιμο στο κοινό στο Διαδίκτυο επηρεάζει αμετάκλητα τη δημιουργία βελτιώσεων ανάκτησης. Καλώς ήρθατε στην παγκόσμια μεταβλητή κατάσταση. Κάθε φορά που βλέπω κάποιον να ισχυρίζεται ότι η συμπεριφορά του ChatGPT έχει υποχωρήσει, σκέφτομαι τις διάφορες "θεωρίες συνωμοσίας" που έχουμε καταλήξει εγώ και άλλοι για να εξηγήσουμε την ξαφνική και ανεξήγητη πτώση στην απόδοση του ρομπότ και αν το πρόβλημα έγκειται στο μοντέλο ή στο περιβάλλον Ή μήπως είναι υπερβολικό το συμπέρασμα μας.

Όπως λέει και η παροιμία, "όλα τα demo ρομπότ ψεύδονται", οι άνθρωποι διαπιστώνουν ότι όλα τα demo LLM λένε επίσης ψέματα. Νομίζω ότι, βασικά, αυτό είναι αναπόφευκτο, επειδή το εύρος της ανθρώπινης προσοχής είναι περιορισμένο. Είναι σημαντικό να αξιολογήσετε το είδος, το μέγεθος και τη σημασία του ψέματος. Δείχνουν πώς γενικεύει το μοντέλο/bot; Ανέφεραν πόσο προσεκτικά επιλέχθηκαν αυτά τα παραδείγματα; Αυτά τα ζητήματα γίνονται πιο περίπλοκα μόλις συνδεθεί η πραγματικότητα. Ο Μέσι φαίνεται καλός παίκτης αυτή τη στιγμή, αλλά «μπορεί να το κάνει μια κρύα, βροχερή νύχτα στη Στόουκ Σίτι»;

Για να περιπλέκουμε τα πράγματα, η απάντηση σε αυτές τις ερωτήσεις δεν είναι πάντα «όχι». Ο Μέσι θα μπορούσε να το κάνει σε μια κρύα, βροχερή νύχτα στη Στόουκ Σίτι. Είναι αρκετά καλός. Αυτό κάνει την ερώτηση δύσκολη, γιατί είναι πολύ πιο σημαντικό να απαντήσετε ένα σωστό «ναι» παρά να απαντήσετε σε ένα σωστό «όχι». Καθώς το LLM γίνεται όλο και καλύτερο και καθώς η τεχνητή νοημοσύνη γίνεται πιο κοινή στην καθημερινή ζωή, ως κοινωνία πρέπει να γινόμαστε όλο και καλύτεροι στο να κρίνουμε αν ένα μοντέλο έχει αποδείξει τον εαυτό του. Μία από τις κύριες ανησυχίες μου για το μέλλον είναι ότι δεν είμαστε καλοί στην αξιολόγηση του εάν τα μοντέλα έχουν αποδείξει τον εαυτό τους.

Ωστόσο, περιμένω ότι οι ρομποτικοί θα είναι μπροστά από την καμπύλη. Παραπονιόμασταν για ζητήματα αξιολόγησης πριν εμφανιστεί η πρόταση ότι το LLM χειραγωγούσε κοινά σημεία αναφοράς. Πολύ πριν το "χρειαζόμαστε καλύτερη κάλυψη δεδομένων" γίνει το σλόγκαν της βασικής ομάδας προεκπαίδευσης του μοντέλου, εργαζόμασταν σκληρά για να αποκτήσουμε αρκετά δεδομένα για να καταγράψουμε το αποτέλεσμα της αυτόνομης οδήγησης. Η μηχανική μάθηση ζει σε μια φούσκα που ζηλεύουν οι ρομποτικοί, οι χημικοί, οι βιολόγοι και οι νευροεπιστήμονες και καθώς αρχίζει πραγματικά να απογειώνεται, όλοι θα αντιμετωπίσουμε τα ίδια προβλήματα που αντιμετωπίζουν όλοι οι άλλοι εδώ και χρόνια. Ρεαλιστικά εμπόδια. Αυτές οι προκλήσεις μπορούν να ξεπεραστούν, αλλά θα είναι δύσκολες. Καλώς ήρθες στην πραγματικότητα. Καλώς ήρθατε στον κόσμο του πόνου.

Αρχικός σύνδεσμος: https://www.alexirpan.com/2024/07/08/tragedies-of-reality.html