η νέα έρευνα του ακαδημαϊκού yao qizhi για μεγάλα μοντέλα έλυσε το πρόβλημα του "ποιο είναι μεγαλύτερο, 9,11 ή 9,8;"
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
το άρθρο ανατυπώνεται σε qubit (qbitai)
συγγραφέας: west windο ακαδημαϊκός yao qizhi αναλαμβάνει την ηγεσία και λανσάρει ένα νέο πλαίσιο συλλογιστικής για τα μεγάλα μοντέλα η «κορώνα» του cot δεν μπορεί πλέον να αντέξει.προτείνετε διάγραμμα σκέψης για να κάνετε τα μεγάλα μοντέλα να σκέφτονται περισσότερο σαν άνθρωποι.η ομάδα παρέχει μια μαθηματική βάση για αυτή τη διαδικασία συλλογισμού και επισημοποιεί το dot μέσω της θεωρίας topos για να διασφαλίσει τη λογική συνέπεια και ορθολογικότητά της.σε σύγκριση με το cot, το οποίο εκφράζει τη διαδικασία συλλογισμού ως γραμμική ακολουθία, το dot μπορεί να συλλάβει καλύτερα την πολυπλοκότητα του ανθρώπινου συλλογισμού.σε σύγκριση με την εισαγωγή των δομών υποκαταστημάτων tot και got, το dot δεν χρειάζεται να βασίζεται σε μηχανισμούς εξωτερικού ελέγχου ή τη συνεργασία πολλαπλών μοντέλων και η εκπαίδευση και η ανάπτυξη είναι απλούστερες.το μυστικό είναι ότι το dot μοντελοποιεί το επαναληπτικό συμπέρασμα στο llm ως δημιουργία ενός κατευθυνόμενου ακυκλικού γραφήματος (dag) μέσα σε ένα μόνο μοντέλο.το dag αποτελείται από κόμβους που αντιπροσωπεύουν προτάσεις, κριτικές, βελτιώσεις και επαληθεύσεις. οι άκρες αντιπροσωπεύουν τις λογικές σχέσεις ή τις εξαρτήσεις μεταξύ τους.αυτό το άκυκλο χαρακτηριστικό διασφαλίζει ότι η διαδικασία συλλογισμού δεν επηρεάζεται από κυκλικές εξαρτήσεις και μπορεί να αντικατοπτρίζει πιο αληθινά μια λογική εξαγωγή.ερωτήσεις όπως ποιο είναι μεγαλύτερο, 9,11 ή 9,8, και πόσα "r" υπάρχουν στη φράουλα, λύνονται όλα με τη βοήθεια του dot.αυτή η μελέτη έλαβε μεγάλη προσοχή αφού προτάθηκε.οι χρήστες του διαδικτύου έχουν εκφράσει ότι αυτός είναι ο σωστός δρόμος.σταμάτα, σταμάτα, σταμάτα
ας δούμε συγκεκριμένα πώς μοιάζει το dot.ένα νέο πλαίσιο για σύνθετη λογική σε μεγάλα μοντέλα
όπως αναφέρθηκε προηγουμένως, το dot μοντελοποιεί τη διαδικασία λογικής συλλογιστικής ως δημιουργία ενός κατευθυνόμενου ακυκλικού γραφήματος (dag) μέσα σε ένα μόνο llm.στο πλαίσιο του διαχειρίζονται τρεις βασικοί ρόλοι:proposer: δημιουργήστε προτάσεις ή συλλογιστικά βήματα, προσθέστε νέους κόμβους.
κριτικές: αξιολογήστε προτάσεις, εντοπίστε λάθη, ασυνέπειες ή λογικές πλάνες και προσθέστε κόμβους κριτικής.
συνοψιστής: συνθέστε τις επαληθευμένες προτάσεις σε μια συνεκτική αλυσίδα σκέψης και εκτελέστε αποτελεσματικά το τοπολογικό είδος dag για να δημιουργήσετε το τελικό αποτέλεσμα συλλογισμού.
αυτοί οι τρεις ρόλοι χρησιμοποιούν ειδικά διακριτικάη διαδικασία συλλογιστικής ξεκινά με τον προτείνοντα να εισάγει μια πρόταση και να προσθέτει έναν κόμβο στο dag.στη συνέχεια, εναπόκειται στους αναθεωρητές να αξιολογήσουν, να επικυρώσουν ή να ασκήσουν κριτική. εάν παρέχεται κριτική, προστίθεται ένας νέος κόμβος και δημιουργείται ένα άκρο μεταξύ της πρότασης και της κριτικής.με βάση την κριτική, ο προτείνων δημιουργεί μια εκλεπτυσμένη και βελτιωμένη πρόταση, που αντιπροσωπεύεται ως νέος κόμβος στο dag.αυτή τη διαδικασίαεπαναλαμβάνω,。μόλις δημιουργηθούν επαρκώς έγκυρες προτάσεις, ο συνοψιστής συνθέτει αυτούς τους συλλογισμούς και ταξινομεί τοπολογικά το dag για να παράγει μια συνεκτική αλυσίδα σκέψεων.εκθέτοντας το μοντέλο τόσο σε ορθό όσο και σε λανθασμένο συλλογισμό, το dot επιτρέπει στο llm να μάθει από τα λάθη του και να βελτιώσει τη συλλογιστική του με την πάροδο του χρόνου, περισσότερο σαν το πώς οι άνθρωποι επιλύουν προβλήματα.αυτή η προσέγγιση όχι μόνο καταγράφει τη μη γραμμική και επαναληπτική φύση του συλλογισμού, αλλά παρέχει επίσης πλουσιότερη ανατροφοδότηση από τα δυαδικά σήματα μέσω της κριτικής φυσικής γλώσσας.η εκπαίδευση του dot περιλαμβάνει τη χρήση παραδειγμάτων εκπαίδευσης μορφοποιημένα στη δομή dot, συμπεριλαμβανομένων διακριτικών για συγκεκριμένους ρόλους και αναπαραστάσεων dag. κατά τη διάρκεια της συλλογιστικής, το μοντέλο δημιουργεί προτάσεις, κριτικές και περιλήψεις με βάση τα συμφραζόμενα και διακριτικά στοιχεία για συγκεκριμένους ρόλους.αυτή η προσέγγιση απλοποιεί την ανάπτυξη και εξαλείφει την ανάγκη για συνεργασία πολλαπλών llm ή μηχανισμούς εξωτερικού ελέγχου, ενώ παραμένει συνεπής με τα τυπικά πρότυπα εκπαίδευσης llm για εύκολη ενσωμάτωση στις υπάρχουσες ροές εργασίας.ο συγγραφέας παρέχει επίσης μια αυστηρή μαθηματική βάση για το πλαίσιο dot, χρησιμοποιώνταςη συλλογιστική διαδικασία περιγράφεται επίσημα.σε αυτό το πλαίσιο, οι προτάσεις μοντελοποιούνται ως υπο-αντικείμενα τερματικών αντικειμένων στην τοπολογία, οι λογικές σχέσεις και τα βήματα συλλογισμού αναπαρίστανται ως μορφισμοί και οι διαδικασίες κριτικής και βελτίωσης αντιστοιχούν σε μορφισμούς ταξινομητών υπο-αντικειμένων και μορφισμούς μεταξύ προτάσεων, αντίστοιχα.με την εισαγωγή της κατηγορίας prenet, κατέγραψαν επίσης με επιτυχία τη δυναμική και ταυτόχρονη φύση της διαδικασίας συμπερασμάτων.αυτή η μαθηματική βάση όχι μόνο διασφαλίζει τη λογική συνέπεια και την πληρότητα της συλλογιστικής διαδικασίας, αλλά παρέχει επίσης ένα εννοιολογικό πλαίσιο για το σχεδιασμό της επόμενης γενιάς μοντέλων τεχνητής νοημοσύνης ειδικά για συλλογιστική.με επικεφαλής τους yao qizhi και yuan yang από το πανεπιστήμιο tsinghua
αυτή η εργασία έγινε από τους yao qizhi και yuan yang από το ινστιτούτο διεπιστημονικής πληροφορίας tsinghua ο πρώτος συγγραφέας της εργασίας είναι ο zhang yifan.ο zhang yifan αποφοίτησε με πτυχίο το 2021πανεπιστήμιο του πεκίνου κολλέγιο yuanpei, είναι επί του παρόντος υποψήφια διδάκτορας στη σχολή διεπιστημονικής πληροφόρησης, στο πανεπιστήμιο tsinghua, και σπουδάζει υπό τον επίκουρο καθηγητή yuan yang.οι κύριες ερευνητικές του κατευθύνσεις είναι η θεωρία και οι αλγόριθμοι βασικών μοντέλων (μεγάλα γλωσσικά μοντέλα), η αυτοεποπτευόμενη μάθηση και η αξιόπιστη τεχνητή νοημοσύνη.ο yuan yang είναι επίκουρος καθηγητής και διδακτορικός επόπτης στη σχολή διεπιστημονικής πληροφόρησης του πανεπιστημίου tsinghua.αποφοίτησε από το τμήμα επιστήμης υπολογιστών του πανεπιστημίου του πεκίνου το 2012, έλαβε διδακτορικό στην επιστήμη υπολογιστών από το πανεπιστήμιο cornell στις ηνωμένες πολιτείες το 2018, εργάστηκε ως μεταδιδακτορικός συνεργάτης στο school of big data science στο ινστιτούτο της μασαχουσέτης. της τεχνολογίας.οι κύριες ερευνητικές του κατευθύνσεις είναι η έξυπνη ιατρική περίθαλψη, η ερμηνεία της τεχνητής νοημοσύνης και τα μεγάλα συστήματα τεχνητής νοημοσύνης.ο yao qizhi είναι ακαδημαϊκός της κινεζικής ακαδημίας επιστημών και διευθυντής του ινστιτούτου διεπιστημονικής πληροφόρησης στο πανεπιστήμιο tsinghua.βραβείο turing«ο πρώτος ασιάτης μελετητής που κέρδισε το βραβείο από την ίδρυσή του και ο μόνος κινέζος επιστήμονας υπολογιστών που κέρδισε αυτή τη διάκριση μέχρι στιγμής.ο καθηγητής yao qizhi παραιτήθηκε από το πρίνστον ως καθηγητής το 2004 και επέστρεψε στο tsinghua για να διδάξει το 2005, ίδρυσε το "yao class", ένα πειραματικό μάθημα επιστήμης υπολογιστών για τους προπτυχιακούς φοιτητές του tsinghua, ίδρυσε το "tsinghua quantum information center". " και το "διεπιστημονικό ινστιτούτο έρευνας πληροφοριών"· το 2019 το 2008, ίδρυσε ένα μάθημα τεχνητής νοημοσύνης για προπτυχιακούς φοιτητές tsinghua, που αναφέρεται ως "smart class".σήμερα, το διεπιστημονικό ινστιτούτο πληροφοριών του πανεπιστημίου tsinghua, υπό την ηγεσία του, είναι διάσημο εδώ και πολύ καιρό, το yao class και το zhiban συνδέονται με το διακλαδικό ινστιτούτο πληροφοριών.τα ερευνητικά ενδιαφέροντα του καθηγητή yao qizhi περιλαμβάνουν αλγόριθμους,κρυπτογράφηση、κβαντική υπολογιστικήκ.λπ., είναι διεθνείς πρωτοπόροι και αρχές στον τομέα αυτό.ένα ακόμη πράγμα
την ίδια περίπου εποχή πριν από ένα χρόνο, ο ακαδημαϊκός yao qizhi ηγήθηκε της πρότασηςσωρευτική συλλογιστικήμέθοδος (cumulative reasoning, cr).το dot είναι μια περαιτέρω εμβάθυνση του cr.εκείνη την εποχή, η cr συντόνισε μια επαναληπτική διαδικασία που περιελάμβανε μεγάλα γλωσσικά μοντέλα διαφορετικών ειδικοτήτων, με διαφορετικά μοντέλα να αναλαμβάνουν τους ρόλους του προτείνοντα, του επαληθευτή και του ρεπόρτερ.το dot, από την άλλη πλευρά, δημιουργεί άμεσα ένα κατευθυνόμενο άκυκλο γράφημα μέσα σε ένα μόνο μοντέλο και δεν βασίζεται σε εξωτερικούς μηχανισμούς ελέγχου ή πολλαπλά μοντέλα, κάνοντας την εκπαίδευση και την ανάπτυξη απλούστερη.και στο dot, η κριτική ανάδραση που δημιουργείται από το μοντέλο είναι με τη μορφή φυσικής γλώσσας, αντί να δίνει μόνο ένα δυαδικό σήμα όπως το cr. αυτό επιτρέπει στο μοντέλο να λαμβάνει λεπτομερείς εξηγήσεις σφαλμάτων, βοηθώντας στη βελτίωση των προτάσεων πιο αποτελεσματικά.αυτή τη φορά το dot έχει επίσης μια ισχυρή μαθηματική βάση, η οποία διευκρινίζει τη σχέση μεταξύ της συλλογιστικής διαδικασίας του dot και της κατηγορικής λογικής, διασφαλίζοντας τη συνέπεια και την αξιοπιστία του συλλογισμού στη θεωρία.
