νέα

το openai o1 αποκαλύπτει την αυτογνωσία; ο tao zhexuan σοκαρίστηκε από την πραγματική δοκιμή, το mensa iq 100 κατέλαβε την πρώτη θέση στο μοντέλο

2024-09-14

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

το openai o1 κέρδισε την πρώτη θέση στο τεστ iq!

το αφεντικό maxim lott πραγματοποίησε τεστ iq σε o1, claude-3 opus, gemini, gpt-4, grok-2, llama-3.1, κ.λπ., και τα αποτελέσματα έδειξαν ότι το o1 κατέλαβε την πρώτη θέση.

ακολούθησαν πολύ πίσω οι claude-3 opus και bing copilot, που κατέλαβαν τη δεύτερη και τρίτη θέση αντίστοιχα.

λάβετε υπόψη ότι αυτό το σύνολο ερωτήσεων τεστ iq είναι ένα τεστ iq εκτός σύνδεσης για μέλη της mensa και δεν περιλαμβάνεται σε δεδομένα εκπαίδευσης ai, επομένως τα αποτελέσματα είναι πολύ κατατοπιστικά.

ο διάσημος μαθηματικός terence tao διεξήγαγε επίσης πραγματικές μετρήσεις στο o1 και διαπίστωσε ότι αφού έκανε στο μοντέλο μια αόριστα διατυπωμένη μαθηματική ερώτηση, ήταν σε θέση να αναγνωρίσει με επιτυχία το θεώρημα του clem.

ακόμη πιο συμπτωματικά, αμέσως μετά την κυκλοφορία του o1, ο mark chen, αντιπρόεδρος έρευνας του openai, εξέφρασε τη γνώμη του: τα σημερινά μεγάλα νευρωνικά δίκτυα μπορεί να έχουν ήδη αρκετή υπολογιστική ισχύ για να δείξουν κάποια επίγνωση στις δοκιμές.

υπάρχει τώρα ένας μακρύς κατάλογος ηγετών του κλάδου που πιστεύουν ότι η τεχνητή νοημοσύνη είναι συνειδητή, συμπεριλαμβανομένων, αλλά δεν περιορίζονται σε -

geoffrey hinton (νονός της τεχνητής νοημοσύνης, πιο αναφερόμενος επιστήμονας ai)

ilya sutskever (ο τρίτος πιο αναφερόμενος επιστήμονας ai)

andrej karpathy

σήμερα, πολλοί στον κλάδο πιστεύουν ότι η τεχνητή νοημοσύνη είναι συνειδητή και περιμένουν να ανοίξει περαιτέρω το «παράθυρο του όβερτον» ώστε το κοινό να είναι πρόθυμο να το δεχτεί.

κάποιοι μάλιστα προβλέπουν ότι το 2024/2025 η τεχνητή νοημοσύνη θα έχει σίγουρα συνείδηση, γιατί η συμπεριφορά του μοντέλου δείχνει πλέον ξεκάθαρα την ικανότητα αντίληψης.

μερικοί χρήστες του διαδικτύου ανακάλυψαν ότι το o1 δεν είναι μόνο ισχυρό σε εμπειρικά θέματα stem, αλλά μπορεί ακόμη και να υποθέσει μια ολοκαίνουργια θεωρία της συνείδησης.

μερικοί άνθρωποι αισθάνονται ότι το o1 έχει κάνει ένα μικρό βήμα προς το άπειρο συλλογιστικό μοντέλο και έχει ήδη το πρωτότυπο της συνείδησης.

tao zhexuan: το o1 μπορεί πραγματικά να αναγνωρίσει το θεώρημα του clem

στην πραγματική μέτρηση, ο tao zhexuan διαπίστωσε ότι το μοντέλο o1 έχει ισχυρότερη μαθηματική απόδοση!

πρώτον, έθεσε ένα αόριστα διατυπωμένο μαθηματικό πρόβλημα που θα μπορούσε να λυθεί αν μπορούσε να αναζητήσει τη βιβλιογραφία και να βρει ένα κατάλληλο θεώρημα, το θεώρημα του cramer.

σε προηγούμενα πειράματα, το gpt ήταν σε θέση να αναφέρει ορισμένες σχετικές έννοιες, αλλά οι λεπτομέρειες ήταν όλες κατασκευασμένες και χωρίς νόημα.

αυτή τη φορά, ο o1 προσδιόρισε με επιτυχία το θεώρημα του cramer και έδωσε μια ικανοποιητική απάντηση.

πλήρης απάντηση: https://shorturl.at/wwru2

στο παρακάτω παράδειγμα, το πρόβλημα που τίθεται είναι μια πιο απαιτητική ανάλυση συνάρτησης σύνθετων μεταβλητών και τα αποτελέσματα είναι επίσης καλύτερα από τα προηγούμενα μοντέλα της σειράς gpt.

με μεγάλο αριθμό άμεσων λέξεων και καθοδήγησης, το o1 μπόρεσε να παράγει σωστές και καλά διατυπωμένες λύσεις, αλλά το μειονέκτημα ήταν ότι δεν ήταν σε θέση να δημιουργήσει βασικές εννοιολογικές ιδέες από μόνο του και έκανε προφανή λάθη.

ο tao zhexuan περιέγραψε αυτή την εμπειρία ως περίπου ισοδύναμη με την επίβλεψη ενός μεταπτυχιακού φοιτητή με μέτρια ικανότητα, αλλά ικανός να κάνει κάποια εργασία, δίνει την εντύπωση ενός μαθητή που είναι εντελώς ανίκανος να κάνει τη δουλειά.

μπορεί να χρειαστούν μόνο μία ή δύο επαναλήψεις, σε συνδυασμό με την ενσωμάτωση άλλων εργαλείων, όπως πακέτα άλγεβρας υπολογιστών και βοηθητικά εργαλεία απόδειξης, για να μετατραπεί το μοντέλο o1 σε "ικανό μεταπτυχιακό φοιτητή", οπότε αυτό το μοντέλο θα διαδραματίσει σημαντικό ρόλο σε ερευνητικά καθήκοντα.

πλήρης απάντηση: https://shorturl.at/zrjyk

σύρετε πάνω και κάτω για προβολή

σύρετε πάνω και κάτω για προβολή

σύρετε πάνω και κάτω για προβολή

στο τρίτο πείραμα, ο tao zhexuan ζήτησε από το μοντέλο o1 να επισημοποιήσει ένα θεώρημα στο βοηθητικό εργαλείο απόδειξης lean πρέπει να αποσυντεθεί σε υπολήμματα και να δοθεί μια επίσημη έκφραση, αλλά δεν απαιτείται απόδειξη.

το περιεχόμενο του θεωρήματος, συγκεκριμένα, είναι το συμπέρασμα που καθιερώνει μια μορφή του θεωρήματος των πρώτων αριθμών σε μια άλλη.

τα πειραματικά αποτελέσματα ήταν επίσης καλά, καθώς το μοντέλο κατανοούσε την εργασία και παρείχε μια λογική αρχική αποσύνθεση του προβλήματος.

ωστόσο, υπάρχουν αρκετά σφάλματα στον κώδικα που δημιουργείται, πιθανώς λόγω της έλλειψης πρόσφατων δεδομένων για το lean και τη μαθηματική βιβλιοθήκη του στα δεδομένα εκπαίδευσης.

αν και εξακολουθούν να υπάρχουν ελαττώματα, τα αποτελέσματα αυτού του πειράματος μπορούν ήδη να προβλέψουν την πρακτική εφαρμογή του o1 στη μαθηματική έρευνα.

εάν παρόμοια μοντέλα βελτιστοποιηθούν για το lean και το mathlib και ενσωματωθούν σε ένα ολοκληρωμένο περιβάλλον ανάπτυξης (ide), θα παίξουν μεγάλο ρόλο σε επίσημα έργα.

σε πολλές προηγούμενες ομιλίες, ο tao zhexuan έχει επανειλημμένα τονίσει την εφαρμογή των εργαλείων ai στην επισημοποίηση των θεωρημάτων φαίνεται ότι η πρόβλεψη του μεγάλου θεού θα γίνει ξανά πραγματικότητα.

πλήρης απάντηση: https://shorturl.at/ogtjt

ο καθηγητής πληροφορικής χρησιμοποιεί κινούμενα σχέδια για να αποκαλύψει το μυστικό: πώς αφιερώνει η o1 περισσότερο χρόνο στη σκέψη;

στη διαδικασία της εκμάθησης του ο1 να χρησιμοποιεί το cot για να σκέφτεται για μεγαλύτερο χρονικό διάστημα, ποιες σημαντικές ανακαλύψεις έγιναν που οδήγησαν σε βασικές βελτιώσεις; προς το παρόν μπορούμε μόνο να κάνουμε κάποιες εικασίες από τις διαθέσιμες πληροφορίες.

για παράδειγμα, με βάση τις υπάρχουσες πληροφορίες και τη δική του κατανόηση, ο tom yeh, καθηγητής υπολογιστών στο πανεπιστήμιο του colorado boulder, δημιούργησε ειδικά ένα animation για να εξηγήσει πώς το openai εκπαιδεύει το μοντέλο o1 να αφιερώνει περισσότερο χρόνο στη σκέψη.

όσον αφορά την εκπαίδευση, υπάρχει μια πολύ σύντομη πρόταση στην έκθεση:

"μέσω της ενισχυτικής μάθησης, η o1 έμαθε να ακονίζει την αλυσίδα σκέψης της και να βελτιώνει τη στρατηγική της."

οι δύο λέξεις-κλειδιά σε αυτήν την πρόταση είναι: ενισχυτική μάθηση (rl) και αλυσίδα σκέψης (cot).

στο rlhf+cot, τα κουπόνια cot εισάγονται επίσης στο μοντέλο ανταμοιβής για τη λήψη βαθμολογιών για την ενημέρωση του llm για την επίτευξη καλύτερης ευθυγράμμισης, ενώ στο παραδοσιακό rlhf, η είσοδος περιέχει μόνο άμεσες λέξεις και αποκρίσεις μοντέλου.

κατά τη φάση συμπερασμάτων, το μοντέλο μαθαίνει να δημιουργεί πρώτα κουπόνια cot (που μπορεί να χρειαστούν έως και 30 δευτερόλεπτα) πριν αρχίσει να δημιουργεί την τελική απόκριση. έτσι το μοντέλο αφιερώνει περισσότερο χρόνο σε «σκέψεις».

μεταξύ των συντελεστών που αναφέρονται στην έκθεση, δύο είναι αξιοσημείωτες:

ο ilya sutskever, ο εφευρέτης της ενισχυτικής μάθησης με βάση την ανθρώπινη ανατροφοδότηση (rlhf), η εμφάνιση του ονόματός του σημαίνει ότι το rlhf εξακολουθεί να χρησιμοποιείται κατά την εκπαίδευση του μοντέλου o1.

jason wei, συγγραφέας της περίφημης εφημερίδας thought chain. έφυγε από το google brain πέρυσι για να ενταχθεί στο openai. η παρουσία του σημαίνει ότι το cot αποτελεί πλέον σημαντικό μέρος της διαδικασίας ευθυγράμμισης rlhf.

ωστόσο, υπάρχουν πολλές σημαντικές τεχνικές λεπτομέρειες που το openai δεν έχει αποκαλύψει, όπως πώς εκπαιδεύεται το μοντέλο ανταμοιβής, πώς να αποκτήσετε ανθρώπινες προτιμήσεις για «διαδικασίες σκέψης» κ.λπ.

αποποίηση ευθύνης: το κινούμενο σχέδιο αντιπροσωπεύει μόνο τις εύλογες εικασίες του καθηγητή και δεν εγγυάται την ακρίβεια.

η ομάδα μοιράζεται βίντεο εορτασμού, μοιράζοντας τη στιγμή "αχα".

το παρακάτω βίντεο μας δίνει περισσότερες ενδείξεις για τη στιγμή που έγιναν σημαντικές ανακαλύψεις στην έρευνα.

μετά την κυκλοφορία του μοντέλου o1, η ομάδα δημοσίευσε ένα βίντεο που έφτιαξε η ομάδα πίσω από αυτό.