ACL2024: Αποκαλύφθηκε ο κινητήρας Yuntian Lifei SPACE, η λογική του μεγάλου μοντέλου μπορεί να εισέλθει σε ένα νέο στάδιο
2024-08-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Από τις 11 έως τις 16 Αυγούστου, πραγματοποιήθηκε η 62η ετήσια συνάντηση της Ένωσης Υπολογιστικής Γλωσσολογίας (ACL) στην Μπανγκόκ της Ταϊλάνδης.
Η εργασία "Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding" από τη μεγάλη ομάδα μοντέλων της Yuntian Lifei έγινε αποδεκτή ως εκτενές έγγραφο ACL24 Findings. Αυτή είναι μια σταδιακή εμφάνιση ορισμένων από τα ερευνητικά αποτελέσματα του μεγάλου μοντέλου του Yuntian Lifei.
Το ετήσιο συνέδριο ACL είναι το κορυφαίο ακαδημαϊκό συνέδριο στον κόσμο στον τομέα της υπολογιστικής γλωσσολογίας και της επεξεργασίας φυσικής γλώσσας κατάλογος της Ομοσπονδίας Υπολογιστών της Κίνας (CCF).
Η επιλεγμένη εργασία του Yuntian Lifei πρότεινε τον κινητήρα SPACE - μια καινοτόμο λύση για την επίτευξη επιτάχυνσης χωρίς απώλειες για εξαγωγή συμπερασμάτων μεγάλων μοντέλων. Τα αποτελέσματα των δοκιμών σε διαφορετικούς τύπους μεγάλων μοντέλων δείχνουν ότιΜετά τη χρήση του κινητήρα SPACE, η ταχύτητα συμπερασμάτων του μοντέλου στο σετ δοκιμών HumanEval αυξήθηκε κατά 270%-400%., η ποιότητα των αποτελεσμάτων συμπερασμάτων παραμένει αμετάβλητη και μπορεί να επιτύχει τόσο "γρήγορο υπολογισμό" και "ακριβή υπολογισμό".
Επιλεγμένα χαρτιά της μεγάλης ομάδας μοντέλων Yuntian Lifei
Είναι δύσκολο για τις κύριες συλλογιστικές λύσεις να επιτύχουν «και τις ανάγκες και τις επιθυμίες»
ΧΩΡΟΣ είναιμικρόαγοράΠαραλελΕΝΑαυτο-ντοδιορθώστε το ΔμιΗ συντομογραφία της κωδικοποίησης σημαίνει "έξυπνη παράλληλη αυτόματη αποκωδικοποίηση διόρθωσης σφαλμάτων".
Αυτό το συλλογιστικό σχήμα έχει δύο βασικά χαρακτηριστικά: πρώτον, υιοθετείημι-αυταρχικήσυλλογιστικό μοντέλο, το οποίο επιταχύνει πολύ το συλλογισμόεπαληθεύωΑυτή η μέθοδος μπορεί να βελτιώσει την ταχύτητα συλλογιστικής διασφαλίζοντας παράλληλα την ακρίβεια της συλλογιστικής.
Τι είναι το "ημι-αυταρχικό" Γιατί πρέπει να προσθέσουμε επαλήθευση Πριν εξηγήσουμε αυτά τα ζητήματα, πρέπει πρώτα να καταλάβουμε πώς "λειτουργεί" το τρέχον μεγάλο μοντέλο;
Ανοίξτε την ΕΦΑΡΜΟΓΗ του μοντέλου μεγάλης γλώσσας, εισάγουμε "Τι είναι το μεγάλο μοντέλο στο πλαίσιο διαλόγου και το μεγάλο μοντέλο θα εμφανίσει την απάντησή του λέξη προς λέξη: "Το μεγάλο μοντέλο είναι ένα μοντέλο βαθιάς εκμάθησης με δεκάδες εκατομμύρια;" παραμέτρους." Η διαδικασία αυτής της απάντησης μπορεί να φανεί Φαίνεται πολύ απλή. Αλλά στην πραγματικότητα, τα μεγάλα μοντέλα έχουν βιώσει πολλαπλούς «αυτοπαλινδρομικούς» κύκλους στα παρασκήνια.
Πρώτον, το μεγάλο μοντέλο θα προβλέψει πρώτα την πρώτη λέξη της εξόδου - "big" με βάση το περιεχόμενο που εισάγουμε, στη συνέχεια θα επαναφέρει τη λέξη "big" στο τέλος εισόδου και θα προβλέψει ποια θα πρέπει να βγει η επόμενη λέξη με βάση το λέξη «μεγάλος». Φυσικά, αυτή η "πρόβλεψη" δεν είναι μια "τυφλή εικασία" από τον αέρα, αλλά το μοντέλο θα κάνει μια ολοκληρωμένη κρίση με βάση τα δεδομένα που είδαμε στην προηγούμενη εκπαιδευτική διαδικασία και θα επιλέξει τη λέξη με την υψηλότερη πιθανότητα ως επόμενη λέξη εξόδου. .
Σε αυτήν την περίπτωση, η δεύτερη λέξη εξόδου είναι "module" Μετά την έξοδο της δεύτερης λέξης, το μεγάλο μοντέλο θα επαναφέρει τις λέξεις "big modulus" στο τερματικό εισόδου και θα προβλέψει την τρίτη λέξη. Αυτός ο κύκλος συνεχίζεται μέχρι να τελειώσει η πλήρης πρόταση.
Αυτή η διαδικασία είναι «αυτοπαλίνδρομος».
Επί του παρόντος, η αυτόματη παλινδρόμηση είναι η κύρια λύση που χρησιμοποιείται για εξαγωγή συμπερασμάτων μεγάλων μοντέλων.Είτε πρόκειται για το ChatGPT, το Llama ανοιχτού κώδικα ή πολλά μεγάλα εγχώρια μοντέλα, χρησιμοποιούν κυρίως αυτοπαλινδρομικές λύσεις συμπερασμάτων.
Σχηματικό διάγραμμα αυτοπαλινδρομικού σχήματος
Τα πλεονεκτήματα και τα μειονεκτήματα του αυτοπαλινδρομικού σχήματος είναι επίσης πολύ προφανή. Το πλεονέκτημα είναι ότι διασφαλίζει ότι το περιεχόμενο που δημιουργείται είναι ακριβές, ουσιαστικό και συνεκτικό με βάση τα συμφραζόμενα. Τα μειονεκτήματα είναι το υψηλό υπολογιστικό κόστος και η μεγάλη καθυστέρηση εξαγωγής συμπερασμάτων.
Για να ξεπεραστούν αυτά τα προβλήματα, οι λύσεις που προτείνει ο κλάδος είναι"Ημι-αυταρχική"και"Αποκωδικοποίηση κερδοσκοπίας"。
Το "Semi-autoregressive" είναι ένας συμβιβασμός μεταξύ "autoregressive" και "non-autoregressive". που αναφέρθηκε παραπάνω,"Αυτοπαλινδρομικός"Χρησιμοποιεί τις παραγόμενες λέξεις για να προβλέψει την επόμενη λέξη."Μη αυτοπαλινδρομικό"Είναι το αντίθετο του «αυτοπαλινδρομικού», προβλέποντας ολόκληρη την πρόταση ταυτόχρονα."Μη αυτοπαλινδρομικό"Η λύση μπορεί να βελτιώσει την αποτελεσματικότητα του συλλογισμού, αλλά η ακρίβεια της εξόδου μειώνεται σημαντικά. Η λύση "ημι-αυτοπαλινδρομική" εξετάζει διεξοδικά τα πλεονεκτήματα και τα μειονεκτήματα του "αυτοπαλινδρομικού" και του "μη αυτοπαλινδρομικού" για να εξισορροπήσει τις απαιτήσεις ταχύτητας και ακρίβειας της συλλογιστικής μεγάλων μοντέλων.
Ωστόσο, η χρήση της λύσης «ημι-αυτοπαλινδρομικής» έχει προκαλέσει νέα προβλήματα - πρώτον, τα περισσότερα μεγάλα μοντέλα δεν μπορούν να χρησιμοποιηθούν και δεύτερον, η ακρίβεια δεν μπορεί να καλύψει τις απαιτήσεις του κλάδου.Τα κύρια μοντέλα είναι κατασκευασμένα σύμφωνα με τη λειτουργία αυτόματης παλινδρόμησης. Η εκπαίδευση ενός μεγάλου μοντέλου απαιτεί πολλή ηλεκτρική ενέργεια, υπολογιστική ισχύ και ανθρώπινο δυναμικό Σχεδόν κανείς δεν θα ανατρέψει το μεγάλο μοντέλο που τελικά εκπαιδεύτηκε και θα ξεκινήσει από την αρχή προκειμένου να αλλάξει το σχήμα συμπερασμάτων.
Μια άλλη επιλογή είναι η "κερδοσκοπική αποκωδικοποίηση".Αυτό το σχέδιο βασίζεται σε"Σχέδιο - Επικύρωση"Για την εργασία της διαδικασίας, πρέπει πρώτα να εισαγάγετε ένα βοηθητικό μοντέλο με σχετικά μικρό αριθμό παραμέτρων. Χάρη στο γεγονός ότι τα μικρά μοντέλα είναι πιο γρήγορα στη συλλογιστική από τα μεγάλα μοντέλα και τα μεγάλα μοντέλα μπορούν να επαληθεύσουν πολλές υποψήφιες απαντήσεις ταυτόχρονα. Αυτή η μέθοδος αποκωδικοποίησης μπορεί όχι μόνο να εξασφαλίσει την ακρίβεια των αποτελεσμάτων, αλλά και να επιταχύνει τη συλλογιστική.
Αλλά αυτή η λύση έχει και μειονεκτήματα. Πρώτον, είναι απαραίτητο να φτιάξουμε πρώτα ένα πολύ "αξιόπιστο" μικρό μοντέλο και να μπορούμε να "σχεδιάσουμε" την απάντηση γρήγορα και με ακρίβεια, κάτι που από μόνο του είναι δύσκολο. Δεύτερον, τα δύο μοντέλα πρέπει να έχουν "το ίδιο κείμενο, το ίδιο κομμάτι και το ίδιο σύστημα" μεταξύ των δύο μοντέλων Μόνο με την επίτευξη υψηλού βαθμού συνοχής όσον αφορά τους τμηματοποιητές λέξεων και τις λίστες λέξεων μπορεί να είναι εγγυημένα τα αποτελέσματα επαλήθευσης.
Μηχανή συμπερασμάτων SPACE - μικρές τροποποιήσεις, μεγάλη επιτάχυνση
Δεδομένου ότι πολλές λύσεις δεν μπορούν να επιτύχουν "και τις ανάγκες και τις επιθυμίες", υπάρχει λύση που μπορεί να διατηρήσει μόνο τα πλεονεκτήματά τους και να αποφύγει τα μειονεκτήματά τους Αυτή είναι η μηχανή συμπερασμάτων SPACE που προτείνεται από τη μεγάλη ομάδα μοντέλων της Yuntian Lifei; Το SPACE συνδυάζει τις δύο λύσεις "ημι-αυτοπαλινδρομικής εποπτευόμενης λεπτομέρειας" και "αυτόματης αποκωδικοποίησης διόρθωσης" για να επιτρέψει στα μεγάλα μοντέλα να παράγουν πολλαπλά αποτελέσματα σε ένα συμπέρασμα και να ολοκληρώσουν την επαλήθευση αποτελεσμάτων ταυτόχρονα για να διασφαλιστεί η ποιότητα των παραγόμενων αποτελεσμάτων. συγχρόνως,Αυτή η μηχανή συμπερασμάτων είναι κατάλληλη για οποιοδήποτε μεγάλο μοντέλο. Μέσω της τελειοποίησης και της βελτιστοποίησης του μοντέλου, όταν οποιοδήποτε μεγάλο μοντέλο υιοθετεί αυτόν τον κινητήρα συμπερασμάτων, όχι μόνο δεν χρειάζεται να εκπαιδεύσει πρόσθετα βοηθητικά μοντέλα, αλλά βελτιώνει επίσης την απόδοση συμπερασμάτων, κάνει πλήρη χρήση των πόρων παράλληλων υπολογιστών όπως η GPU και επιτυγχάνει υψηλή χρήση υπολογιστικής ισχύος.
Η διαφορά μεταξύ του αυτοπαλινδρομικού σχήματος (αριστερά) και του σχήματος SPACE (δεξιά)
Όπως αναφέρθηκε παραπάνω, τα περισσότερα μεγάλα μοντέλα γλώσσας έχουν τις δικές τους «αυτοπαλινδρομικές» ιδιότητες και δεν μπορούν να εφαρμόσουν απευθείας τη λύση «ημι-αυτοπαλινδρομική». Από αυτή την άποψη, το SPACE υιοθετεί τη μέθοδο της «ημι-αυταρχικής εποπτευόμενης λεπτομέρειας» Μέσω της εποπτευόμενης εκπαίδευσης, το μοντέλο μαθαίνει να προτείνει μια σειρά από πιθανές υποψήφιες λέξεις όταν συναντά την ειδική ένδειξη [MASK] (όπως φαίνεται στο παραπάνω σχήμα). . Αυτό επιτρέπει στο μοντέλο να εκτελεί πράξεις παρόμοιες με τις «μαντέψεις» κατά τη διάρκεια της συλλογιστικής και να εξάγει πολλές πιθανώς σωστές υποψήφιες λέξεις, έχοντας έτσι την ικανότητα ημι-αυτοπαλινδρομικής συλλογιστικής.
Για να το θέσω απλά, με την υποστήριξη του συστήματος «ημι-αυτοπαλινδρομικής εποπτευόμενης λεπτομέρειας», το μεγάλο μοντέλο μπορεί να κάνει «εικασίες» από μόνο του κατά τη διάρκεια της συλλογιστικής και να βγάλει πολλές λέξεις που είναι πιθανό να είναι σωστές ως υποψήφιες απαντήσεις.
Ωστόσο, όπως και η εξέταση, μπορεί να αναγράφεται μεγάλος όγκος περιεχομένου στο προσχέδιο, αλλά οι σωστές απαντήσεις πρέπει να συμπληρωθούν στο εξεταστικό χαρτί. Πώς να βεβαιωθείτε ότι είναι σωστό Αυτό απαιτεί επαλήθευση των αποτελεσμάτων, και αυτό κάνει η "αυτόματη αποκωδικοποίηση".
Συγκεκριμένα, κατά τη διάρκεια του συλλογισμού, εισάγουμε επίσης τις υποψήφιες λέξεις που δημιουργούνται από το μεγάλο μοντέλο στο προηγούμενο βήμα συλλογισμού στο μοντέλο, επιτρέποντας στο μοντέλο να αυτοελέγχει και να προσδιορίζει εάν αυτές οι υποψήφιες απαντήσεις είναι σωστές.
Η μέθοδος κρίσης είναι επίσης πολύ απλή Εάν η λέξη που δημιουργείται από το μοντέλο ταιριάζει με την προηγούμενη υποψήφια απάντηση, η υποψήφια λέξη θεωρείται σωστή. Για να επανεξετάσουμε, στον παραδοσιακό αυτοπαλινδρομικό συλλογισμό, εάν μια λέξη είναι σωστή, τότε η λέξη πρέπει να εισαχθεί ξανά στο γλωσσικό μοντέλο για να συναχθεί η επόμενη λέξη.
Αλλά αυτό δεν απαιτείται εδώ στο SPACE. Εφόσον έχουμε εισαγάγει την υποψήφια λέξη στο μοντέλο εκ των προτέρων και η υποψήφια λέξη έχει επαληθευτεί ότι είναι σωστή, μπορούμε να λάβουμε απευθείας τη νέα απάντηση από τη σωστή υποψήφια λέξη αυτή τη στιγμή, εξοικονομώντας έτσι την ανάγκη να εισαγάγετε ξανά την απάντηση στο μοντέλο και μετά προχωρήστε σε μια στιγμή συλλογισμού. Επομένως, το πλεονέκτημα αυτού του μηχανισμού είναι ότι όταν μια υποψήφια λέξη επαληθεύεται ότι είναι σωστή, δεν χρειάζεται να την ανατροφοδοτήσετε στο μοντέλο για να δημιουργήσετε την επόμενη απάντηση, μειώνοντας έτσι τον χρόνο συλλογιστικής.
Ως αναλογία, η παραδοσιακή αυτοπαλίνδρομη συλλογιστική μπορεί να συγκριθεί με έναν αγώνα σκυταλοδρομίας 4×100 μέτρων: σε έναν κανονικό αγώνα, τέσσερις αθλητές πρέπει να αναλάβουν τη σκυτάλη ένας προς έναν για να ολοκληρώσουν ολόκληρο τον αγώνα και απαιτεί κατά λέξη αιτιολογία. Στο σχέδιο του SPACE, οι τέσσερις αθλητές άρχισαν να τρέχουν ταυτόχρονα. Ωστόσο, ο πρώτος αθλητής πρέπει να επαληθευτεί αφού φτάσει στη γραμμή τερματισμού, εάν η επαλήθευση περάσει, η βαθμολογία του δεύτερου αθλητή μπορεί να επιβεβαιωθεί και στη συνέχεια ο δεύτερος αθλητής μπορεί να επαληθευτεί και ούτω καθεξής.
Εάν ένας αθλητής αποτύχει να περάσει την επαλήθευση, πρέπει να επιστρέψει στη γραμμή εκκίνησης των 100 μέτρων και να ξεκινήσει ξανά για να ολοκληρώσει τον αγώνα. Στην καλύτερη περίπτωση, εάν ο καθένας από τους τέσσερις αθλητές μπορεί να περάσει την επαλήθευση, τότε αυτή η ομάδα χρειάζεται μόνο να αφιερώσει το 1/4 του χρόνου σε ένα κανονικό παιχνίδι για να ολοκληρώσει το παιχνίδι, επιτυγχάνοντας έτσι ένα αποτέλεσμα επιτάχυνσης, στη χειρότερη περίπτωση κάθε αθλητής αποτυγχάνει να περάσει την επαλήθευση, τότε ο χρόνος που απαιτείται θα είναι ο ίδιος όπως σε έναν κανονικό αγώνα. Το αν μπορεί να περάσει την επαλήθευση εξαρτάται κυρίως από την ακρίβεια των απαντήσεων του υποψηφίου.
Ταυτόχρονα, κατά τη διαδικασία συμπερασμάτων του μοντέλου SPACE, εισάγουμε επίσης ένα ειδικό αναγνωριστικό [MASK] στην είσοδο για να καθοδηγήσει το μεγάλο μοντέλο ώστε να δημιουργήσει μια ενημερωμένη έκδοση της υποψήφιας απάντησης. Σύμφωνα με αυτόν τον μηχανισμό, κάθε γύρος συλλογιστικού μοντέλου όχι μόνο επαληθεύει την ακρίβεια των υποψήφιων λέξεων που δημιουργήθηκαν στον προηγούμενο γύρο, αλλά παρέχει επίσης νέες υποψήφιες λέξεις για τον ακόλουθο συλλογισμό.
Αυτό το σχέδιο προορίζεται ναΒελτιώστε την ακρίβεια των υποψηφίων λέξεων, γιατί κάθε φορά που εμφανίζεται μια νέα απάντηση, οι αρχικές υποψήφιες λέξεις θα γίνονται πιο ακριβείς μέσω της ενημέρωσης. Αυτή η διαδικασία μοιάζει με την πρόβλεψη καιρού: κάνουμε προβλέψεις για τις καιρικές συνθήκες για την επόμενη εβδομάδα κάθε μέρα και όσο περνάει ο καιρός, η ακρίβεια των καιρικών προβλέψεων για μια συγκεκριμένη μέρα στο μέλλον αυξάνεται σταδιακά. Αυτό συμβαίνει επειδή συγκεντρώνουμε περισσότερα δεδομένα αισθητήρων με την πάροδο του χρόνου, γεγονός που μας επιτρέπει να παρέχουμε πιο ακριβείς προβλέψεις καιρού.
Η παραδοσιακή μέθοδος επαλήθευσης και διόρθωσης είναι η "κερδοσκοπική αποκωδικοποίηση" που αναφέρεται παραπάνω, που σημαίνει ότι πρέπει πρώτα να εκπαιδεύσετε ένα αξιόπιστο μικρό μοντέλο και στη συνέχεια να χρησιμοποιήσετε ένα μεγάλο μοντέλο για να το επαληθεύσετε.
Ωστόσο, το SPACE πρότεινε μια νέα λύση που μπορεί να επιτύχει τον σκοπό της παραγωγής και της επαλήθευσης χωρίς τη χρήση μικρών μοντέλων και η εργασία επαλήθευσης και η εργασία παραγωγής μπορούν να πραγματοποιηθούν ταυτόχρονα. Με αυτόν τον τρόπο, η αποτελεσματικότητα και η ακρίβεια του συλλογισμού μπορεί να βελτιωθεί σημαντικά.
Ας επιστρέψουμε στο αρχικό παράδειγμα Όταν εισάγουμε "Τι είναι ένα μεγάλο μοντέλο;", στη λειτουργία συμπερασμάτων SPACE, το μεγάλο μοντέλο θα δημιουργήσει πρώτα τις λέξεις "Τα μεγάλα μοντέλα έχουν δεκάδες εκατομμύρια παραμέτρους" ταυτόχρονα και αυτόματα. Διορθώστε τις ταυτόχρονα Ο αλγόριθμος αποκωδικοποίησης θα επαληθεύσει αμέσως τις λέξεις που δημιουργούνται μία προς μία και θα διατηρήσει μόνο τις λέξεις με σωστά αποτελέσματα επαλήθευσης ως τελική απάντηση, επιτυγχάνοντας έτσι το αποτέλεσμα της δημιουργίας πολλαπλών λέξεων στη διαδικασία της μελλοντικής συλλογιστικής μιας. μεγάλο μοντέλο, επιτυγχάνοντας το σκοπό της επιτάχυνσης.
Τέλος, ας ρίξουμε μια ματιά στις επιπτώσεις του SPACE.
Πραγματοποιήσαμε πειράματα σε διάφορα μοντέλα ανοιχτού κώδικα μεγάλων γλωσσών, καλύπτοντας κύρια μοντέλα μεγάλων γλωσσών με διαφορετικά μεγέθη παραμέτρων από 6 δισεκατομμύρια έως 70 δισεκατομμύρια.Όπως φαίνεται από τον παρακάτω πίνακα, το SPACE έχει πιο εμφανή αποτελέσματα επιτάχυνσης σε μοντέλα με μεγαλύτερες παραμέτρους.。
Επιπλέον, το SPACE μπορεί επίσης να χρησιμοποιηθεί σε συνδυασμό με άλλες τεχνολογίες επιτάχυνσης συμπερασμάτων, όπως η συνεχής ομαδοποίηση, η προσοχή φλας, η κρυφή μνήμη KV, η κβαντοποίηση κ.λπ., για να φέρει μεγαλύτερη ταχύτητα συμπερασμάτων.
Για να επαληθεύσουμε αυτή την άποψη, εφαρμόσαμε το SPACE σε ένα βασικό πλαίσιο συμπερασμάτων TGI.
Τα μεγάλα μοντέλα έχουν μπει σε χιλιάδες βιομηχανίες και η «συλλογιστική» είναι καθοριστική
Η εκπαίδευση και το συμπέρασμα είναι τα δύο βασικά στάδια του κύκλου ζωής των μεγάλων μοντέλων Η εκπαίδευση λύνει το πρόβλημα της "δημιουργίας ενός μεγάλου μοντέλου από την αρχή", ενώ το συμπέρασμα λύνει το πρόβλημα του τρόπου εφαρμογής μεγάλων μοντέλων σε χιλιάδες βιομηχανίες.
Εάν η περσινή χρονιά ορίζεται ως η πρώτη χρονιά της έκρηξης των μεγάλων μοντέλων, τότε φέτος είναι η πρώτη χρονιά εφαρμογής μεγάλων μοντέλων εφαρμογών Ως εκ τούτου, οι συλλογιστικές δυνατότητες των μεγάλων μοντέλων έχουν λάβει αυξανόμενη προσοχή.
Η Yuntian Lifei έχει κάνει πολλές προσπάθειες για να επιταχύνει την εφαρμογή μεγάλων μοντέλων. Όσον αφορά την υπολογιστική ισχύ, πέρυσι η εταιρεία κυκλοφόρησε το DeepEdge10, ένα μεγάλο τσιπ συμπερασμάτων άκρων μοντέλων, και πρόσφατα κυκλοφόρησε την κάρτα επιτάχυνσης IPU-X6000, η οποία μπορεί να εφαρμοστεί στην επιτάχυνση συμπερασμάτων διαφόρων μεγάλων μοντέλων, όπως η γλώσσα, η όραση και η πολλαπλή τυπικότης.
Όσον αφορά τους αλγόριθμους, ο Yuntian Lifei πρότεινε τη μηχανή συμπερασμάτων SPACE, η οποία βελτιώνει σημαντικά την ταχύτητα συμπερασμάτων μεγάλων μοντέλων. Όσον αφορά την εφαρμογή, το μοντέλο μεγάλης κλίμακας της Yuntian Lifei που αναπτύχθηκε από μόνος του, Yuntian Tianshu έχει εφαρμοστεί σε πολλούς κλάδους όπως έξυπνες κυβερνητικές υποθέσεις, αστική διακυβέρνηση, έξυπνη ασφάλεια, έξυπνες μεταφορές, έξυπνες επιχειρήσεις, έξυπνη εκπαίδευση κ.λπ., εξερευνώντας και δημιουργώντας βιομηχανία σημεία αναφοράς.
Στο μέλλον, η Yuntian Lifei θα συνεχίσει να εργάζεται σκληρά και να συνεισφέρει περισσότερο στην έρευνα και ανάπτυξη, εφαρμογή και προώθηση μεγάλων τεχνολογιών που σχετίζονται με μοντέλα.
