νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

κείμενοαυτός qianming

συντάκτης 丨cheng manqi huang junjie

το πιο σημαντικό προϊόν του openai φέτος, το μοντέλο o1, κυκλοφόρησε όπως είχε προγραμματιστεί. η τιμή της μετοχής της nvidia, του μεγαλύτερου παραγωγού κερδών στην τεχνητή νοημοσύνη, αυξήθηκε κατά 10% μέσα σε δύο ημέρες.

το o1, το οποίο καταναλώνει περισσότερη υπολογιστική ισχύ για να απαντήσει σε ερωτήσεις, θα «σκέφτεται» για δεκάδες δευτερόλεπτα ή και περισσότερο όταν βλέπει μια ερώτηση πριν δώσει μια απάντηση. η openai λέει ότι μπορεί να απαντήσει σε ερωτήσεις μαθηματικών της ολυμπιάδας ή να ολοκληρώσει εργασίες προγραμματισμού πολύ καλύτερα από τα μεγάλα μοντέλα που κυκλοφορούν ήδη στην αγορά.

αλλά η καλή διάθεση του διευθύνοντος συμβούλου του openai sam altman διακόπηκε γρήγορα. κάτω από το tweet του που ανακοίνωσε την πλήρη κυκλοφορία του o1, το κορυφαίο σχόλιο ήταν: "πότε θα είναι διαθέσιμη η νέα λειτουργία φωνής;" ένα νέο παιχνίδι;»

αυτό που θέλει αυτός ο χρήστης μετά το altman δεν είναι ένα νέο παιχνίδι, αλλά η επερχόμενη φωνητική λειτουργία gpt-4o από άκρο σε άκρο που υποσχέθηκε το openai τον μάιο του τρέχοντος έτους. στη ζωντανή επίδειξη εκείνη την εποχή, αυτό το νέο ai ακουγόταν φυσικό, ανταποκρίθηκε πολύ γρήγορα και ήξερε πότε να διακόψει, δυσκολεύοντας τους άλλους να ξεχωρίσουν την αλήθεια από το ψέμα. σύμφωνα με το επίσημο χρονοδιάγραμμα, δεκάδες εκατομμύρια χρήστες που πληρώνουν chatgpt θα είχαν χρησιμοποιήσει αυτήν τη δυνατότητα μέσα σε λίγες εβδομάδες, αλλά η ολοκλήρωση της αγοράς έχει καθυστερήσει μέχρι τώρα.

τον περασμένο χρόνο, τα προϊόντα του openai ήταν παρόμοια «μελλοντικά»: το gpt-4 ήταν online για περισσότερο από ένα χρόνο και το μοντέλο επόμενης γενιάς του openai gpt-5 δεν έχει ακόμα σημάδια κυκλοφορίας. το μοντέλο βίντεο sora που κυκλοφόρησε από την openai νωρίτερα φέτος δεν έχει κυκλοφορήσει σε μεγάλη κλίμακα μέχρι στιγμής, μόνο λίγοι επαγγελματίες του κλάδου που έχουν επιλεγεί από αυτούς το έχουν χρησιμοποιήσει.

οι νούμερο ένα καθυστερήσεις του κλάδου έχουν επανειλημμένα εξαντλήσει την υπομονή της κεφαλαιαγοράς με μεγάλα μοντέλα τεχνητής νοημοσύνης. ορισμένοι κινεζικοί τεχνολογικοί γίγαντες και μεγάλες εταιρείες μοντέλων ανέστειλαν την εκπαίδευση βασικών μοντέλων στα μέσα του τρέχοντος έτους, επενδύοντας περισσότερους πόρους στην ανάπτυξη εφαρμογών ή ενοικιάζοντας υπολογιστική ισχύ gpu σε εξωτερικούς πελάτες. ανησυχούν ότι δεν υπάρχουν πολλά περιθώρια για πρόοδο στην τεχνολογία, οπότε αρχίζουν να μειώνουν τις επενδύσεις και να αγωνίζονται για αποδόσεις.

πριν από αυτήν την εβδομάδα, η αγοραία αξία της nvidia είχε μειωθεί κατά περισσότερο από 20% από το υψηλό της ιουνίου και η αγοραία αξία της microsoft είχε επίσης συρρικνωθεί κατά 13%, χάνοντας η καθεμία εκατοντάδες δισεκατομμύρια δολάρια. ο cfo της microsoft είπε ότι τα δεκάδες δισεκατομμύρια δολάρια που έχουν επενδύσει στον τομέα των μεγάλων μοντέλων θα πρέπει να περιμένουν 15 χρόνια ή περισσότερα για να ανακάμψουν.

η έρευνα της sequoia δείχνει ότι οι επενδύσεις στον τομέα της τεχνητής νοημοσύνης ξεπέρασαν τα έσοδα κατά περισσότερα από 120 δισεκατομμύρια δολάρια πέρυσι και ενδέχεται να επεκταθούν στα 500 δισεκατομμύρια δολάρια φέτος. αλλά εκτός από τη nvidia, λίγες εταιρείες έχουν δει μεγάλο ποσοστό αύξησης εσόδων. όλο και περισσότεροι άνθρωποι στον κλάδο αρχίζουν να συζητούν ότι εάν οι δυνατότητες των μεγάλων μοντέλων σταματήσουν εδώ, θα σκάσει ξανά η φούσκα της τεχνητής νοημοσύνης;

οι «φυσαλίδες» δεν είναι απαραίτητα κακό. πριν μια νέα τεχνολογία αλλάξει τον κόσμο, θα υπάρξει ένα στάδιο όπου το όραμα θα ξεπεράσει κατά πολύ την πραγματικότητα. η διαφορά έγκειται στο αν και πότε μπορεί να πραγματοποιηθεί το όραμα. εάν δεν μπορεί να εκπληρωθεί μακροπρόθεσμα, η φούσκα θα σκάσει και η εταιρεία θα χρεοκοπήσει. εάν το όραμα εκπληρωθεί, δεν θα είναι τίποτα άλλο από μια υποσημείωση για την τεχνολογική πρόοδο.

το o1 που κυκλοφόρησε το openai θα ανατρέψει τουλάχιστον προσωρινά τον δισταγμό ότι δεν υπάρχει χώρος για πρόοδο στα μεγάλα μοντέλα και θα παρατείνει τη διάρκεια ζωής της «φούσκας» των μεγάλων μοντέλων.

οποιαδήποτε νέα τεχνολογία πρέπει να συνεχίσει να προοδεύει για να μπορέσει να αλλάξει τον κόσμο. η μοναδικότητα του o1 δεν είναι μόνο ότι οι επιδόσεις στον προγραμματισμό, τα μαθηματικά, τη φυσική και άλλα πεδία έχουν βελτιωθεί σημαντικά, αλλά και ότι έχει βρει έναν δρόμο προς τα εμπρός για μια ομάδα οπαδών του openai και τους επενδυτές πίσω από αυτούς: στο παρελθόν, η πληροφορική η ισχύς χρησιμοποιήθηκε περισσότερο για την «απομνημόνευση γνώσης» ——χρησιμοποιώντας μεγάλο όγκο δεδομένων για την εκπαίδευση του μοντέλου, το o1 εκχωρεί περισσότερη υπολογιστική ισχύ στη «σκέψη κατά την απάντηση σε ερωτήσεις», δηλαδή στη διαδικασία συλλογισμού και βελτιώνεται σημαντικά η λογική ικανότητα.

πριν από αυτό, η εκπαίδευση μεγάλων μοντέλων είχε πέσει στο σημείο συμφόρησης των αρχικών νόμων κλιμάκωσης μετά την επέκταση της κλίμακας παραμέτρων του μοντέλου, η βελτίωση της απόδοσης σταδιακά επιβραδύνθηκε.

ειδικά βελτιστοποιημένο για μαθηματικά, προγραμματισμό και επιστημονικά προβλήματα, το o1-mini δείχνει επίσης σημαντικές δυνατότητες εφαρμογής είναι καλύτερες προσεγγίσεις μοντέλων.

ως συνήθως με αρκετές εκδόσεις, το openai επέλεξε προσεκτικά το χρόνο κυκλοφορίας του o1. σύμφωνα με αναφορές των μέσων ενημέρωσης, πριν από την κυκλοφορία του o1, το openai αναζητούσε νέα χρηματοδότηση 7 δισεκατομμυρίων δολαρίων με αποτίμηση 150 δισεκατομμυρίων δολαρίων. τώρα, ο αγώνας για επενδύσεις πόρων έχει άλλον έναν λόγο να συνεχιστεί.

από το μεγάλο γλωσσικό μοντέλο στο "μοντέλο συμπερασμάτων", το o1 είναι ισχυρό στη θεωρία και αδύναμο στη λογοτεχνία

αυτή τη φορά το openai κυκλοφόρησε δύο μοντέλα για τους χρήστες: o1-preview και o1-mini, και ανακοίνωσε ότι περισσότερα μοντέλα της σειράς o1 είναι στο δρόμο.

ο λόγος που αυτή η σειρά ονομάζεται o1 αντί να χρησιμοποιεί gpt είναι επειδή υπάρχουν εμφανείς αλλαγές στις μεθόδους εκπαίδευσης των δύο. στην ανάρτηση ιστολογίου του openai που παρουσιάζει το o1, ονομάζεται μοντέλο συλλογιστικής (μοντέλο συλλογισμού) πολλές φορές, αντί για το μοντέλο μεγάλου γλωσσικού μοντέλου (μοντέλο μεγάλης γλώσσας) που χρησιμοποιήθηκε συνήθως κατά την κλήση gpt.

η συνολική προπονητική λογική των παραδοσιακών μεγάλων γλωσσικών μοντέλων όπως το gpt είναι η προ-εκπαίδευση και η λεπτομέρεια: πρώτα χρησιμοποιήστε τεράστια δεδομένα για να διδάξετε στο μεγάλο μοντέλο να προβλέπει την επόμενη λέξη στο στάδιο της προεκπαίδευσης και μετά αφήστε το να μάθει να προβλέπει η επόμενη λέξη στο στάδιο της τελειοποίησης το μεγάλο μοντέλο μαθαίνει γνώσεις σε ένα συγκεκριμένο πεδίο και επιτρέπει στους ανθρώπους να γράφουν απαντήσεις για να διδάξουν στο μεγάλο μοντέλο τι απαντήσεις θέλουν οι άνθρωποι και το μηχάνημα βελτιώνεται με βάση τα σχόλια.

οι νέες λέξεις-κλειδιά του o1 είναι η ενισχυτική μάθηση και η αλυσίδα σκέψης (cot).

το openai περιγράφει τη διαδικασία ως εξής: «μέσα από την ενίσχυση της μάθησης, το o1 μαθαίνει πώς να ακονίζει την αλυσίδα σκέψης του και να βελτιώνει τις στρατηγικές που χρησιμοποιεί βελτιώνει σημαντικά τις δυνατότητες συμπερασμάτων του μοντέλου δοκιμάζοντας διαφορετικές μεθόδους όταν η τρέχουσα μέθοδος δεν λειτουργεί."

το alphago, το οποίο νίκησε τον παγκόσμιο πρωταθλητή go το 2016, και το επόμενο μοντέλο του alphazero, χρησιμοποίησε ενισχυτική μάθηση για να επιτρέψει στο μοντέλο να παίξει μόνο του και να μάθει ποιες στρατηγικές να χρησιμοποιήσει για να βελτιώσει το ποσοστό νίκης σε διαφορετικές καταστάσεις (παιχνίδια). το μοντέλο μπορεί επίσης να δημιουργήσει δεδομένα μέσω συνεχών δοκιμών για την εκπαίδευση του μοντέλου.

το openai o1 χρησιμοποιεί μια παρόμοια μέθοδο: παρέχει στο μεγάλο μοντέλο δεδομένα επίλυσης προβλημάτων βήμα προς βήμα, επιτρέποντας στο μοντέλο να μάθει να διορθώνει μόνο του και να μάθει πώς να απαντά σε ερωτήσεις σε κάθε βήμα για να πάρει τη βέλτιστη απάντηση.

"η ικανότητα του μοντέλου ai εξακολουθεί να προέρχεται από τα δεδομένα. εάν κάτι λείπει αρχικά ή ανεπαρκεί στα δεδομένα, το μοντέλο δεν μπορεί να το μάθει. το o1 ισοδυναμεί με την υλοποίηση μιας μεθόδου σύνθεσης επαγγελματικών δεδομένων. με αυτά τα επαγγελματικά δεδομένα, ο 1 μπορεί να μάθει επαγγελματικές ικανότητες», δήλωσε ο yuan jinhui, ιδρυτής της silicon mobile.

o1 όταν απαντά σε μια ερώτηση, θα σπάσει την ερώτηση σε μια σειρά από μικρές ερωτήσεις και θα απαντήσει συλλογιστικά βήμα προς βήμα αυτή είναι η «αλυσίδα σκέψης». σύμφωνα με την οθόνη openai, η διαδικασία απάντησης σε ερωτήσεις o1 έχει ως εξής (στην έκδοση που χρησιμοποιεί ο χρήστης, το openai κρύβει το περιεχόμενο της αλυσίδας σκέψης):

ερώτηση (αρχικά στα αγγλικά):

γράψτε ένα σενάριο bash που λαμβάνει μια μήτρα (που αναπαρίσταται ως συμβολοσειρά στη μορφή '[1,2],[3,4],[5,6]') και εκτυπώνει τη μετάθεση του πίνακα στην ίδια μορφή.

ιδέες επίλυσης προβλημάτων του o1-preview (αλυσίδα σκέψης):

ένας χρήστης ζήτησε να γράψει ένα σενάριο bash που μπορεί να λάβει μια συμβολοσειρά που αντιπροσωπεύει μια μήτρα, όπως '[1,2],[3,4],[5,6]' και να εξάγει τη μετάθεσή της στην ίδια μορφή.

ας κατανοήσουμε πρώτα τις μορφές εισόδου και εξόδου.

είσοδος: '[1,2],[3,4],[5,6]', ο αντίστοιχος πίνακας είναι:

1 2

3 4

5 6

επομένως, η είσοδος είναι μια σειρά γραμμών που περικλείονται από αγκύλες και χωρίζονται με κόμματα.

η μετάθεση αυτού του πίνακα είναι:

1 3 5

2 4 6

επομένως, η απαιτούμενη έξοδος είναι «[1,3,5],[2,4,6]».

συνολική αποστολή:

γράψτε ένα σενάριο bash που να παίρνει ένα όρισμα (μια συμβολοσειρά που αντιπροσωπεύει έναν πίνακα) και να εξάγει τη μετάθεσή του στην ίδια μορφή.

εντάξει, τώρα ας εξετάσουμε πώς να αναλύσουμε μια συμβολοσειρά εισόδου στο bash, να δημιουργήσουμε έναν πίνακα (πιθανώς χρησιμοποιώντας έναν πίνακα), να τον μεταφέρουμε και στη συνέχεια να εξάγουμε τον μεταφερόμενο πίνακα, διατηρώντας την ίδια μορφή.

περιορισμοί:

- επειδή πρόκειται για bash, πρέπει να είμαστε προσεκτικοί με την ανάλυση συμβολοσειρών.

-το σενάριο πρέπει να δέχεται συμβολοσειρά εισόδου ως παράμετρο.

μέθοδος:

-αναλύστε τη συμβολοσειρά εισόδου για να εξαγάγετε στοιχεία μήτρας.

- κατασκευάστε έναν πίνακα ως πίνακα πινάκων.

-μεταφέρετε τη μήτρα.

- εξαγωγή του μετατιθέμενου πίνακα στην ίδια μορφή.

βήματα υλοποίησης:

1. καταγράψτε τη συμβολοσειρά εισόδου ως παράμετρο.

2. αφαιρέστε όλα τα κενά (αν υπάρχουν).

3. αναλύστε τη συμβολοσειρά εισόδου και εξαγάγετε τους αριθμούς σε έναν πίνακα.

-δεδομένου ότι η μορφή εισαγωγής είναι «[1,2],[3,4],[5,6]», μπορούμε:

--αφαιρέστε τα εξωτερικά στηρίγματα εάν χρειάζεται.

--διαχωρίστε τη συμβολοσειρά κατά '], για να λάβετε κάθε γραμμή.

--για κάθε γραμμή, αφαιρέστε τα '[' και ']' και, στη συνέχεια, διαχωρίστε τα στοιχεία με ','.

4. κατασκευάστε έναν δισδιάστατο πίνακα (πίνακας πινάκων) σε bash.

-επειδή οι πίνακες bash είναι μονοδιάστατοι, πρέπει να προσομοιώσουμε έναν δισδιάστατο πίνακα.

5. μεταφέρετε τη μήτρα.

-κατά τη μεταφορά, πρέπει να ανταλλάξουμε γραμμές και στήλες.

6. εξαγωγή του μετατιθέμενου πίνακα στην επιθυμητή μορφή.

-ανακατασκευάστε τη συμβολοσειρά εξόδου στη μορφή '[1,3,5],[2,4,6]'.

τώρα, ξεκινήστε να γράφετε τον κώδικα βήμα προς βήμα.

πιθανά ζητήματα:

-το ίδιο το bash δεν έχει εγγενείς πολυδιάστατους πίνακες, επομένως πρέπει να το προσομοιώσουμε.

-πρέπει να ασχοληθούμε με αριθμούς που μπορεί να είναι πολυψήφιοι.

στη συνέχεια, μπορούμε να αρχίσουμε να γράφουμε το πλαίσιο αυτού του σεναρίου bash βήμα προς βήμα.

【ελαφρώς】

τώρα ας δοκιμάσουμε αυτό το σενάριο χρησιμοποιώντας το παράδειγμα εισαγωγής «[1,2],[3,4],[5,6]».

επιτρέψτε μου να προσπαθήσω να προσομοιώσω τι θα συμβεί.

θα το γράψω ως απάντηση.

ούτε η ενισχυτική μάθηση ούτε η αλυσιδωτή σκέψη ήταν οι πρώτες τεχνικές κατευθύνσεις που προτάθηκαν από το openai.

προτού το o1 συνδεθεί στο διαδίκτυο, το google deepmind κυκλοφόρησε μια ενημερωμένη έκδοση του μοντέλου alphageometry που εκπαιδεύτηκε με παρόμοια μέθοδο τον ιούλιο, το οποίο κατάφερε να κερδίσει ένα ασημένιο μετάλλιο στη διεθνή μαθηματική ολυμπιάδα imo.

αλλά το openai απέδειξε για άλλη μια φορά ότι μπορεί να πρωτοστατήσει στην κατασκευή μοντέλων με πιο εκπληκτικά αποτελέσματα με βάση τον κλάδο. σύμφωνα με το openai, το μοντέλο τους o1-ioi που είναι ειδικά εκπαιδευμένο για τη διεθνή ολυμπιάδα πληροφορικής μπορεί να κερδίσει το χρυσό μετάλλιο.

με νέες μεθόδους εκπαίδευσης και συμπερασμάτων, το openai o1-preview ξεπερνά σημαντικά το gpt-4o στην επίλυση δύσκολων μαθηματικών προβλημάτων και στην επεξεργασία εργασιών προγραμματισμού. για παράδειγμα, στο σύνολο δεδομένων μαθηματικών διαγωνισμών aime 2024, η βαθμολογία o1-προεπισκόπησης είναι μεγαλύτερη από 4 φορές εκείνη του gpt-4o στο σύνολο δεδομένων ανταγωνισμού codeforces, το χάσμα γίνεται 5,6 φορές.

σε διαγωνισμούς μαθηματικών, διαγωνισμούς προγραμματισμού και επιστημονικές δοκιμές συνόλου δεδομένων ερωτήσεων και απαντήσεων, το o1-preview και το o1 ξεπέρασαν σημαντικά το gpt-4o.

το openai είπε ότι οι περιορισμένες εκδόσεις του openai o1-preview και του openai o1-mini είναι μόνο πρώιμες εκδόσεις του επόμενου μοντέλου τους έχει παρόμοια απόδοση με έναν διδακτορικό σε προκλητικές ερωτήσεις στη φυσική, τη χημεία, τη βιολογία κ.λπ., ενώ το προηγούμενο μοντέλο most. είναι σε προπτυχιακό ή μεταπτυχιακό επίπεδο.

μετατρέποντας την τεχνολογία σε πραγματικότητα, το openai ανέφερε 212 συνεισφέροντες, οι οποίοι είναι συγκρίσιμοι με τους συντελεστές του τμήματος κειμένου του gpt-4o (234 άτομα). αλλά η εκπαίδευση o1 απαιτεί περισσότερους τύπους δεδομένων. το openai ανέφερε ότι τα δεδομένα που χρησιμοποιούνται στην προεκπαίδευση o1 προέρχονται από δημόσια σύνολα δεδομένων, ιδιόκτητα δεδομένα συνεργατών και εσωτερικά αναπτυγμένα προσαρμοσμένα σύνολα δεδομένων, ενώ το gpt-4o χρησιμοποιεί μόνο τους δύο πρώτους τύπους δεδομένων όταν κατέχει τις δυνατότητες κειμένου.

η σειρά o1, η οποία είναι προκατειλημμένη προς τα "μοντέλα συμπερασμάτων", δεν έχει ξεπεράσει πλήρως το gpt-4o και η γλωσσική της ικανότητα είναι η σχετική αδυναμία της.

στις δοκιμές του openai, οι περισσότεροι άνθρωποι πιστεύουν ότι το o1-preview είναι καλύτερο από το gpt-4o για να απαντήσει σε ερωτήσεις που δίνουν σημασία στη λογική, όπως η ανάλυση δεδομένων, ο προγραμματισμός και τα μαθηματικά, ωστόσο, όσον αφορά την προσωπική γραφή, την επεξεργασία κειμένου κ.λπ είναι ακόμα καλύτερο.

προβλήματα που δεν μπορούν να λυθούν με το gpt-4o θα εμφανιστούν επίσης στο o1-preview, για παράδειγμα, θα κάνει "ανοησίες" και θα πιστεύει ότι το 9.11 είναι μεγαλύτερο από το 9.2.

για προσωπική γραφή, επεξεργασία κειμένου κ.λπ., το gpt-4o είναι καλύτερο.

ο μεγαλύτερος χρόνος απόκρισης (σκέψης) που φέρνει η αλυσίδα σκέψης μπορεί να είναι ένα μειονέκτημα της σειράς o1 στην πραγματική χρήση. όταν ζητήθηκε να "καταγράψουν τα ονόματα πέντε χωρών των οποίων το τρίτο γράμμα είναι α", το gpt-4o χρειάστηκε μόνο 3 δευτερόλεπτα, ενώ το o1-mini χρειάστηκε 9 δευτερόλεπτα, το o1-προεπισκόπηση χρειάστηκε 32 δευτερόλεπτα και το gpt-4o δέκα φορές. βασικά δεν είναι διαθέσιμο για απλές ερωτήσεις.

προς το παρόν, το o1-preview και το mini δεν έχουν τις λειτουργίες περιήγησης στο διαδίκτυο, λήψης πληροφοριών και επεξεργασίας μεταφορτωμένων αρχείων και εικόνων όπως το gpt-4o. προς το παρόν, φαίνεται ότι οι πιο γρήγοροι άνθρωποι που μπορούν να χρησιμοποιήσουν το o1 για να βελτιώσουν την παραγωγικότητα είναι προγραμματιστές λογισμικού, αλλά το openai περιορίζει επίσης τον τρόπο κλήσης του api: μπορούν να καλούν μόνο 20 φορές το λεπτό, εξαιρουμένων λειτουργιών όπως κλήσεις λειτουργιών, ροή και υποστήριξη μηνυμάτων συστήματος.

από την εκπαίδευση κλιμάκωση έως την κλιμάκωση συμπερασμάτων, ο ανταγωνισμός υπολογιστικής ισχύος θα συνεχιστεί

κατά την άποψη πολλών ερευνητών μεγάλων μοντέλων, η πιο σημαντική αλλαγή του o1 είναι ότι δείχνει μια νέα διαδρομή για τη σημαντική βελτίωση των δυνατοτήτων των μεγάλων μοντέλων.

οι αρχικοί νόμοι κλιμάκωσης σημαίνουν ότι η χρήση περισσότερων δεδομένων και υπολογιστικής ισχύος για την εκπαίδευση ενός μοντέλου με μεγαλύτερες παραμέτρους θα έχει ως αποτέλεσμα καλύτερη απόδοση.

όπως φαίνεται στο παρακάτω σχήμα, το o1 δείχνει ότι εάν το μοντέλο ξοδεύει περισσότερο χρόνο και περισσότερη υπολογιστική ισχύ απαντώντας σε ερωτήσεις (test-time compute), η απόδοση θα συνεχίσει να βελτιώνεται. ο ανώτερος επιστήμονας τεχνητής νοημοσύνης της nvidia, jim fan, δήλωσε στα μέσα κοινωνικής δικτύωσης ότι αυτή μπορεί να είναι η πιο σημαντική εικόνα στην έρευνα μεγάλων μοντέλων από τη στιγμή που η deepmind πρότεινε τους chichill scaling laws (μια βελτιστοποίηση στους αρχικούς νόμους κλιμάκωσης) το 2022.

ο jim fan πρότεινε επίσης μια δυνατότητα για τη μελλοντική εξέλιξη των μεγάλων μοντέλων: τα μελλοντικά μοντέλα μπορεί να διαχωρίζουν τη συλλογιστική από τη γνώση, να έχουν έναν μικρό «συλλογικό πυρήνα» και επίσης να χρησιμοποιούν μεγάλο αριθμό παραμέτρων για την απομνημόνευση γεγονότων (γνώση) για δοκιμές, όπως ερωτήσεις ασήμαντων στοιχείων. και άριστες απαντήσεις.

η openai ανέφερε επίσης συγκεκριμένα στο άρθρο που παρουσιάζει το o1 ότι θα συνεχίσει να αναπτύσσει τη σειρά μοντέλων gpt. αυτό μπορεί να υποδηλώνει ότι το openai θα εισαγάγει τις μεθόδους που χρησιμοποιούνται στο o1 στο μοντέλο gpt επόμενης γενιάς.

είτε το o1 γίνει η νέα κύρια μέθοδος είτε το o1 συνδυαστεί με τη σειρά gpt για την εξέλιξη της επόμενης γενιάς μεγάλων μοντέλων, οι απαιτήσεις υπολογιστικής ισχύος θα πρέπει να αυξηθούν περαιτέρω.

το openai δεν έχει αποκαλύψει το κόστος συμπερασμάτων της σειράς o1, αλλά από το χρόνο που χρειάζεται για το μοντέλο o1 να απαντήσει σε ερωτήσεις και τους περιορισμούς χρήσης του openai στο o1, μπορεί να συναχθεί ότι το o1 απαιτεί πολύ μεγαλύτερους υπολογιστικούς πόρους συμπερασμάτων από τη σειρά gpt.

οι χρήστες επί πληρωμή του chatgpt plus που ξοδεύουν 20 $ το μήνα μπορούν επί του παρόντος να χρησιμοποιούν μόνο το o1-preview 30 φορές και το o1-mini 50 φορές την εβδομάδα. το τρέχον όριο του gpt-4o είναι 4480 φορές την εβδομάδα (80 φορές κάθε 3 ώρες), το οποίο είναι 90 φορές αυτό του o1-mini και 150 φορές αυτό του o1-preview.

ο χρόνος για την προεπισκόπηση o1 για απάντηση σε ερωτήσεις έχει αυξηθεί από δευτερόλεπτα για τα μοντέλα της σειράς gpt σε δεκάδες δευτερόλεπτα ή και περισσότερο. επεξεργάζεται επίσης πολύ περισσότερο κείμενο όταν απαντά σε ερωτήσεις. πάρτε ως παράδειγμα τα προβλήματα προγραμματισμού που αναφέρονται στο άρθρο κατά την εμφάνιση της διαδικασίας "αλυσίδας σκέψης" όταν το o1 την έλυσε, συμπεριλαμβανομένης της αλυσίδας σκέψης, επεξεργάστηκε 6632 χαρακτήρες, που ήταν 4,2 φορές μεγαλύτερος από αυτόν του gpt-4o. μεγαλύτερος χρόνος υπολογισμού και μεγαλύτερη απόδοση σημαίνουν υψηλότερο κόστος υπολογιστικής ισχύος.

o1 η τόνωση των προοπτικών τεχνητής νοημοσύνης και της υπολογιστικής κατανάλωσης αντανακλάται γρήγορα στην κεφαλαιαγορά. δεδομένου ότι τα μέσα ενημέρωσης αναφέρουν στις αρχές αυτής της εβδομάδας ότι το openai πρόκειται να κυκλοφορήσει ένα νέο μοντέλο, η τιμή της μετοχής της nvidia έχει ανακάμψει κατά 10%, και η microsoft επίσης ανέβηκε μαζί.

για εκείνες τις εταιρείες που δεν είναι σίγουρες για την κατεύθυνση της εξέλιξης της τεχνολογίας ή έχουν επιβραδύνει την έρευνά τους στα βασικά μοντέλα, υπάρχει τώρα νέα δουλειά και νέες κατευθύνσεις. η υψηλή πιθανότητα απελευθέρωσης του o1 σημαίνει ότι όσον αφορά τα «μοντέλα συμπερασμάτων», το ανταγωνιστικό χάσμα έχει διευρυνθεί και πάλι και πρόκειται να συμβεί ένας γύρος επιταχυνόμενης κάλυψης της διαφοράς και επένδυσης.

«ήρθε η ώρα να ασχοληθούμε, διαφορετικά δεν θα είμαστε πια στο παιχνίδι», δήλωσε ένας κινέζος ερευνητής μοντέλων μεγάλης κλίμακας.

εικόνα τίτλου: visual china

το 1957, ένα ανθρωπογενές αντικείμενο εισήλθε στο σύμπαν για πρώτη φορά, σε τροχιά γύρω από τη γη για τρεις εβδομάδες. όταν οι άνθρωποι κοιτάζουν ψηλά, μπορούν να δουν μια μικρή λάμψη φωτός να διαπερνά τον ουρανό τη νύχτα, παράλληλα με τα μυθικά αστέρια.

τέτοια κατορθώματα διασχίζουν φυλές και ιδεολογίες, πυροδοτώντας χαρά σε όλο τον κόσμο. όχι όμως η χαρά της νίκης που μπορεί να υποψιαζόμαστε ότι μας συγκινούν ανθρώπινα κατορθώματα. σύμφωνα με την παρατήρηση της πολιτικής φιλόσοφου hannah arendt εκείνη την εποχή, η διάθεση των ανθρώπων είναι πιο κοντά σε μια πολυαναμενόμενη ανακούφιση - η επιστήμη επιτέλους ανταποκρίθηκε στις προσδοκίες και «η ανθρωπότητα είναι επιτέλους στο δρόμο της από τη φυλακή της γης έχει ληφθεί."

οι άνθρωποι προσαρμόζουν πάντα γρήγορα τις προσδοκίες τους για τον κόσμο με βάση την τεχνολογική εξερεύνηση. όταν μια φαντασίωση ενός συγγραφέα επιστημονικής φαντασίας γίνεται πραγματικότητα, είναι συχνά όταν η τεχνολογία τελικά ανταποκρίνεται στις προσδοκίες των ανθρώπων, ή με τα λόγια της arendt, «η τεχνολογία συνειδητοποιεί και επιβεβαιώνει ότι τα όνειρα των ανθρώπων δεν είναι ούτε τρελά ούτε μηδενιστικά».

σε στιγμές όπως η σημερινή, είναι καλύτερα να ονειρεύεσαι περισσότερα.

αυτή είναι και η προσδοκία του "latepost" που θα λανσάρει τη στήλη tech tuesday. ελπίζουμε να εισάγουμε τακτικά νέα επιστημονική έρευνα και τεχνολογική πρόοδο εκτός από τον επιχειρηματικό κόσμο που η «late» δίνει καθημερινή προσοχή.

αυτά μπορεί να αφορούν την πρόοδο μιας έρευνας αιχμής, μια παρατήρηση μιας τεχνολογικής εφαρμογής ή έναν φόρο τιμής σε ορισμένες εξαιρετικές τεχνολογίες ή ακόμα και σε μια εποχή.

αυτή η στήλη θα καταγράφει τις ποικίλες αλλαγές στον κόσμο από την οπτική γωνία της επιστήμης και της τεχνολογίας. κατά τη διάρκεια αυτού του ταξιδιού, ελπίζω ότι οι αναγνώστες μπορούν να ενωθούν μαζί μας και να κατανοήσουν λίγο περισσότερο τον κόσμο.

· fin ·