τα μεγάλα μοντέλα αρχίζουν να μαθαίνουν να σκέφτονται σαν άνθρωποι πού είναι ο δρόμος για το agi;
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
πριν από δύο μήνες, το πρόβλημα των αδύναμων μαθηματικών δυνατοτήτων των μεγάλων μοντέλων έχει προσελκύσει ευρεία προσοχή πολλά μεγάλα μοντέλα στην αγορά δεν μπορούν καν να απαντήσουν στην απλή μαθηματική ερώτηση "ποιο είναι μεγαλύτερο, 9,11 ή 9,9;" δύο μήνες αργότερα, η βιομηχανία λύνει σταδιακά το πρόβλημα των περιορισμών στις μαθηματικές δυνατότητες των μεγάλων μοντέλων.
νωρίς το πρωί της 13ης σεπτεμβρίου, ώρα πεκίνου, το openai κυκλοφόρησε μια νέα σειρά μοντέλων συλλογισμού χωρίς προειδοποίηση, συμπεριλαμβανομένων τριών μοντέλων: o1-preview, o1 και o1-mini. αυτό είναι το "strawberry project" του openai με προηγμένες συλλογιστικές δυνατότητες. σύμφωνα με το openai, η νέα σειρά μοντέλων είχε καλή απόδοση σε δεδομένα και κωδικοποίηση, σημειώνοντας 83% στις κατατακτήριες εξετάσεις της διεθνούς μαθηματικής ολυμπιάδας (imo).
το openai δεν είναι το μόνο που προσπαθεί να ξεπεράσει τους περιορισμούς των μαθηματικών δυνατοτήτων. η ομάδα του google deepmind έχει επίσης κυκλοφορήσει στο παρελθόν το σύστημα alpha alphaproof, το οποίο χρησιμοποιείται για την επίλυση πολύπλοκων μαθηματικών προβλημάτων.
η υπέρβαση των ορίων των μαθηματικών ικανοτήτων είναι ένα νέο βήμα στην εξέλιξη της τεχνολογίας ai και στον δρόμο προς το agi (τεχνητή γενική νοημοσύνη). σύμφωνα με τον simon see, καθηγητή στο πανεπιστήμιο του κόβεντρι και παγκόσμιο διευθυντή του κέντρου τεχνητής νοημοσύνης της nvidia, οι προσπάθειες της βιομηχανίας να βελτιώσει τις μαθηματικές ικανότητες της τεχνητής νοημοσύνης περιλαμβάνουν προσπάθειες συνδυασμού του llm (μεγάλο γλωσσικό μοντέλο) με άλλες τεχνολογίες agi (τεχνητή γενική νοημοσύνη).
πώς να λύσετε τους περιορισμούς των μαθηματικών ικανοτήτων;
"αυτή είναι μια σημαντική πρόοδος για πολύπλοκες εργασίες συλλογισμού και αντιπροσωπεύει ένα νέο επίπεδο δυνατοτήτων τεχνητής νοημοσύνης", έγραψε το openai κατά την εισαγωγή των μοντέλων της σειράς o1. ο διευθύνων σύμβουλος του openai, sam altman, δήλωσε επίσης στις πλατφόρμες κοινωνικής δικτύωσης ότι το νέο μοντέλο είναι η αρχή ενός νέου παραδείγματος, δηλαδή ότι η τεχνητή νοημοσύνη μπορεί να εκτελεί γενική περίπλοκη λογική.
οι βελτιωμένες μαθηματικές δυνατότητες είναι ένα σημαντικό χαρακτηριστικό αυτής της σειράς μοντέλων. το openai εισήγαγε ότι η ενημερωμένη απόδοση της νέας σειράς μοντέλων είναι παρόμοια με εκείνη των διδακτορικών φοιτητών που ολοκληρώνουν απαιτητικές εργασίες αναφοράς στη φυσική, τη χημεία και τη βιολογία στις κατατακτήριες εξετάσεις της διεθνούς μαθηματικής ολυμπιάδας (imo), το gpt-4o έλυσε σωστά μόνο το 13%. των ερωτήσεων, ενώ το νέο μοντέλο σημείωσε 83%.
σχετικά με τον τρόπο με τον οποίο το νέο μοντέλο μπορεί να επιτύχει καλύτερες δυνατότητες μαθηματικών και προγραμματισμού, το openai εισήγαγε ότι η εταιρεία χρησιμοποιεί αλγόριθμους ενίσχυσης μάθησης μεγάλης κλίμακας για να «διδάξει» στο μοντέλο να χρησιμοποιεί αλυσίδες σκέψης για να σκέφτεται αποτελεσματικά όταν εκπαιδεύει δεδομένα αποτελεσματικά, παρόμοια με το πώς σκέφτονται οι άνθρωποι. πολύ καιρό πριν απαντήσετε σε δύσκολες ερωτήσεις. ο ερευνητής του openai noam brown είπε ότι το o1 ανοίγει μια νέα διάσταση για την κλιμάκωση μεγάλων μοντέλων (κλιμάκωση), έτσι ώστε τα μεγάλα μοντέλα να μην υπόκεινται πλέον στο σημείο συμφόρησης της προεκπαίδευσης και τώρα μπορούν επίσης να επεκτείνουν τους υπολογισμούς συμπερασμάτων. όσον αφορά τον ρόλο των ενισχυμένων συλλογιστικών ικανοτήτων, το openai δήλωσε ότι μπορεί να χρησιμοποιηθεί για τον σχολιασμό δεδομένων αλληλουχίας κυττάρων στον τομέα της ιατρικής περίθαλψης και τη δημιουργία πολύπλοκων μαθηματικών τύπων στο πεδίο της φυσικής έρευνας.
το google deepmind ενισχύει την τελική απόδοση του συστήματος ai συνδυάζοντας άλλες τεχνολογίες εκτός από το llm. το alphaproof βασίζεται επίσης στην ενισχυτική μάθηση και είναι ένα σύστημα μαθηματικού συλλογισμού. το σύστημα εκπαιδεύτηκε για να αποδείξει τη γλώσσα προγραμματισμού lean, μια γλώσσα προγραμματισμού που χρησιμοποιείται για την επαλήθευση θεωρημάτων, συνδυάζοντας ένα εκπαιδευμένο μοντέλο γλώσσας με τον αλγόριθμο μάθησης ενίσχυσης alphazero. σύμφωνα με την google, το lean επιτρέπει στο σύστημα να επαληθεύει την ορθότητα όταν πρόκειται για αποδείξεις μαθηματικού συλλογισμού. όταν αντιμετωπίζει ένα πρόβλημα, το alphaproof δημιουργεί υποψήφιες λύσεις και, στη συνέχεια, πραγματοποιεί αναζήτηση στο lean για πιθανά βήματα απόδειξης προς απόδειξη ή απόρριψη.
ανεξάρτητα από το αν οι τεχνικές αρχές είναι παρόμοιες, το alphaproof και το openai o1 τείνουν να σκέφτονται βαθιά σε σύγκριση με προηγούμενα μοντέλα και δεν βασίζονται μόνο στην ικανότητα του llm να προβλέπει και να δημιουργεί γρήγορα το επόμενο διακριτικό (στοιχείο λέξης).
πώς θα πάω στο agi;
προηγουμένως, ένας μεγάλος προγραμματιστής μοντέλων είπε στους δημοσιογράφους ότι ένας λόγος για την αδύναμη μαθηματική ικανότητα των μεγάλων μοντέλων είναι ότι δεν χρησιμοποιείται μεγάλη ποσότητα μαθηματικών δεδομένων υψηλής ποιότητας για την εκπαίδευση του μοντέλου καθώς η ποιότητα των δεδομένων βελτιώνεται, το πρόβλημα των αδύναμων μαθηματικών ικανότητα μπορεί να λυθεί. ωστόσο, εκτός από τον λόγο για τα δεδομένα εκπαίδευσης, οι αναλυτές του κλάδου λένε ότι η κακή μαθηματική ικανότητα του llm οφείλεται επίσης στο ότι η μέθοδος πρόβλεψης του επόμενου διακριτικού δεν είναι πραγματικά έξυπνη. κρίνοντας από τις πρόσφατες τάσεις, η βιομηχανία, συμπεριλαμβανομένων των openai και google deepmind, λύνει το πρόβλημα των ανεπαρκών μαθηματικών και συλλογιστικών δυνατοτήτων από τον μηχανισμό λειτουργίας των συστημάτων ai στην πραγματικότητα, χρησιμοποιεί διάφορες τεχνολογίες για να καλύψει τις ελλείψεις των μεθόδων λειτουργίας llm , σε κάποιο βαθμό κάντε το llm να σκέφτεται περισσότερο σαν άνθρωποι.
όσον αφορά τους περιορισμούς των δυνατοτήτων του llm, τον τρόπο επίλυσης προβλημάτων όπως η μαθηματική ικανότητα και τον τρόπο μετάβασης από το υπάρχον llm στο agi, ο κλάδος εξακολουθεί να συζητά τα βασικά αίτια και τις λύσεις πολλοί βετεράνοι του κλάδου διοργάνωσαν πρόσφατα ένα συνέδριο που φιλοξενήθηκε από τα δεδομένα της σαουδικής αραβίας και την αρχή τεχνητής νοημοσύνης που συζητήθηκε στο gain summit world artificial intelligence summit. στη σύνοδο κορυφής, ο simon see είπε ότι η τρέχουσα τεχνητή νοημοσύνη είναι "στενή". υπάρχουν ακόμα πολλά προβλήματα που πρέπει να λυθούν, όπως η αδυναμία κατασκευής ολοένα και μεγαλύτερων μοντέλων επειδή δεν μπορεί να παρασχεθεί απεριόριστη ενέργεια.
"τώρα έχουμε μεγάλο όγκο δεδομένων. μόλις το μοντέλο εκπαιδευτεί αρκετά μεγάλο, θα προκύψουν δυνατότητες. κατά τη γνώμη μου, δεν είναι εφικτό να βασίζεσαι σε μια ενιαία τεχνολογία. η κατεύθυνση στην οποία εργάζεται αυτή τη στιγμή ο κλάδος περιλαμβάνει το συνδυασμό llm με άλλες γνώσεις και τεχνολογίες όπως νέα σύμβολα , λογισμός κ.λπ. για κατανόηση και συλλογισμό." ο simon see είπε ότι ο συνδυασμός διαφορετικών τεχνολογιών έχει σημειώσει μεγάλη πρόοδο πρόσφατα. το alphaproof της deepmind συνδυάζει lean γλώσσα προγραμματισμού, μοντέλα γλώσσας κ.λπ. χρησιμοποιείται για μαθηματικές αποδείξεις. αφήστε το llm να συνδυάσει διάφορες τεχνολογίες για να δώσει στο σύστημα ai τη δυνατότητα να οδηγήσει σε agi.
ο antoine blondeau, συνιδρυτής και διευθύνων σύμβουλος της alpha intelligence captal, πιστεύει επίσης ότι είναι δεδομένο ότι οι μηχανές θα είναι τελικά καλύτερες από τους ανθρώπους, αλλά θα χρειαστεί λίγος χρόνος για να επιτευχθεί αυτό το αποτέλεσμα, και υπάρχουν ακόμη πολλά επιστημονικά εργασίες που πρέπει να γίνουν. έκρινε ότι η τεχνητή νοημοσύνη δεν θα είναι ένα ενιαίο μοντέλο, αλλά μπορεί να είναι ένας συνδυασμός πολλαπλών μοντέλων η μηχανή τελικά θα μάθει να παρατηρεί, να αποδεικνύει ή να αντικρούει, να γενικεύει και να μαθαίνει στον πραγματικό κόσμο.
όσον αφορά τον τρέχοντα μηχανισμό και τους περιορισμούς του llm, ο antoine blondeau πιστεύει ότι τα ανθρώπινα όντα μαθαίνουν από τη ζωή, το 95% των οποίων διδάσκεται από τα «βίντεο με ήχο». % είναι από κείμενο, όπως βιβλία. οι άνθρωποι θα μάθουν τη σημασιολογία από τα βίντεο, για παράδειγμα, όταν εμφανίζονται πέντε δάχτυλα, αυτό σημαίνει ότι μπορεί να είναι ένας άνθρωπος ή άλλο ζώο. αλλά όταν ένα μηχάνημα μαθαίνει από ένα βίντεο, το καθήκον του είναι να προβλέψει το επόμενο pixel, κάτι που δεν είναι ο ανθρώπινος τρόπος. εάν δεν μπορούμε να κάνουμε τις μηχανές να μαθαίνουν όπως οι άνθρωποι, θα είναι δύσκολο για τις μηχανές να φτάσουν σε υψηλότερα επίπεδα νοημοσύνης.
ο alex smola, γνωστός επιστήμονας μηχανικής μάθησης και ιδρυτής και διευθύνων σύμβουλος της εκκίνησης μεγάλων μοντέλων boson ai, επεσήμανε ότι οι περιορισμοί της λειτουργίας llm σχετίζονται επίσης με την πρόβλεψη συμβολαίων. είπε ότι η ικανότητα του llm να προβλέπει το επόμενο διακριτικό (στοιχείο λέξης) έχει χρησιμοποιηθεί για την κατανόηση των εικόνων, των ήχων, της δημιουργίας ήχων και τους τελευταίους 12 μήνες, όλα φαίνεται να έχουν γίνει ένα σύμβολο.
"σε κάποιο βαθμό, έχουμε αρχίσει να εξαντλούμε τον αριθμό των διαθέσιμων tokens. μια χονδρική εκτίμηση είναι ότι μπορεί να υπάρχουν 100 τρισεκατομμύρια μάρκες, που μπορεί να είναι τα tokens που μπορούν να χρησιμοποιήσουν οι άνθρωποι για να δημιουργήσουν llm. υπάρχουν ακόμα πολλές προμήθειες βίντεο και ήχου, κάποιο είδος στο βαθμό που αυτό θα τεθεί σε εφαρμογή, εξαρτάται επίσης από τη nvidia ή άλλες εταιρείες που παράγουν τσιπ που μπορούν να χειριστούν αυτές τις λειτουργίες, ο alex smola είπε ότι στο άμεσο μέλλον, ο πυρήνας του llm μπορεί να είναι η μοντελοποίηση ακολουθίας (sequence modeling). , τα οποία μπορούν τώρα να δουν τα δεδομένα , τη σύγκλιση του υλικού και τα πιθανολογικά μοντέλα επίσης εξελίσσονται προς παρόμοιες δομές μπορούμε να δούμε πόσο μακριά μπορεί να φτάσει η σχετική εξερεύνηση τα επόμενα χρόνια.
συνδυάζοντας την τεχνολογική πρόοδο και κοιτάζοντας το μέλλον, ο antoine blondeau πιστεύει ότι η υλοποίηση του agi μπορεί να γίνει μέσα σε 10 ή 20 χρόνια και η ταχύτητα της εξέλιξης είναι πλέον πολύ γρήγορη. ο simon see πιστεύει ότι για να φτάσουμε στο agi, το 80% της διαδικασίας μπορεί να επιτευχθεί μέσα σε αυτά τα 10 χρόνια, αλλά κρίνει ότι το τελευταίο 20% θα είναι πολύ δύσκολο και θα πάρει περισσότερο χρόνο.
(αυτό το άρθρο προέρχεται από το china business news)
