Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Μηχανικής Καρδιάς

Συγγραφέας: Zenan

"Με τη βοήθεια του λογισμικού βελτιστοποίησης συστήματος, το κατώφλι για ανάπτυξη θα μειωθεί, διάφορα υλικά θα ενοποιηθούν και η τεχνολογική οικολογία θα αναπτυχθεί. Αυτό έχει μεγάλη σημασία για την πρόοδο της τρέχουσας ευφυούς οικολογίας", δήλωσε ο Ακαδημαϊκός του Κινεζική Ακαδημία Μηχανικών και Ακαδημαϊκός του Ινστιτούτου Υπολογιστικής Τεχνολογίας της Κινεζικής Ακαδημίας Επιστημών, πρόεδρος της επιτροπής και πρόεδρος του CCF, παρέδωσε μια ομιλία στη συνέντευξη Τύπου. «Εκτός από τα έξυπνα τσιπ και τις εφαρμογές της βιομηχανίας τεχνητής νοημοσύνης, χρειαζόμαστε μέρη βελτιστοποίησης λογισμικού συστήματος για να συμμετάσχουν και να εργαστούν μαζί, ώστε να μπορέσουμε να βελτιώσουμε το εγχώριο οικοσύστημα».

Ο ακαδημαϊκός Sun Ninghui στη συνέντευξη Τύπου

Αντιμέτωποι με το πρόβλημα της «κολλημένης» υπολογιστικής ισχύος, έχουμε επιτέλους μια λύση σε επίπεδο συστήματος.

Στις 20 Ιουλίου, η startup υποδομής τεχνητής νοημοσύνης Zhongke Jiahe κυκλοφόρησε επίσημα την πρώτη γενιά ετερογενών εγγενών υπολογιστικών εργαλείων τεχνητής νοημοσύνης.

Αντιμετωπίζοντας την τρέχουσα τάση εφαρμογής μεγάλης κλίμακας εγχώριας υπολογιστικής ισχύος, η μέθοδος που προτείνει ο Zhongke Jiahe μπορεί να επιτρέψει την παραλληλοποίηση διαφορετικών τύπων τσιπ σε μεγάλη κλίμακα μεγιστοποιώντας παράλληλα την απόδοση και επιτρέπει στους χρήστες υπολογιστικής ισχύος να έχουν άμεση πρόσβαση στην υπολογιστική ισχύ χωρίς πρέπει να δώσετε προσοχή σε διαφορετική οικολογία τσιπ Ελάτε να το χρησιμοποιήσετε.

Ο Cui Huimin, ιδρυτής και Διευθύνων Σύμβουλος της Zhongke Jiahe, δημοσίευσε και εισήγαγε ότι "τα ετερογενή εγγενή υπολογιστικά ηλεκτρικά εργαλεία τεχνητής νοημοσύνης Jiahe" έχουν ήδη διαδραματίσει κάποιο ρόλο στην υποδομή AI της εγχώριας υπολογιστικής ισχύος. Είναι συμβατό με μια ποικιλία εγχώριων τσιπ AI και παρέχει μια ενοποιημένη διεπαφή υψηλής απόδοσης για την προστασία των διαφορών των τσιπ.Με βάση ετερογενείς εγγενείς πλατφόρμες, τα συμπλέγματα υπολογιστικής ισχύος AI έχουν βελτιώσει την απόδοση στη συλλογιστική μεγάλων μοντέλων.Η καθυστέρηση μπορεί να μειωθεί κατά 3-74 φορές, η απόδοση να αυξηθεί κατά 1,4-2,1 φορές, η ενεργειακή απόδοση να βελτιωθεί κατά 1,46 φορές και μπορεί να υποστηρίξει πυκνά μεγάλα μοντέλα με παραμέτρους 340B και μεγάλα μοντέλα MoE με 640B。

Ταυτόχρονα, η Zhongke Jiahe έχει παράσχει υποστήριξη συλλογιστικής υψηλής απόδοσης σε περισσότερους από 10 πελάτες, συμπεριλαμβανομένων τσιπ, ολοκληρωμένων συστημάτων, παρόχων υπηρεσιών κ.λπ. Η αρχιτεκτονική του υποστηρίζει εγχώρια και ξένα mainstream μεγάλα μοντέλα και μπορεί να εκτελέσει διαφοροποιημένη παράλληλη συλλογιστική.

Οι πάροχοι υπολογιστικής ισχύος και οι συνεργάτες εφαρμογών που ανακοινώθηκαν στη συνέντευξη Τύπου περιλαμβάνουν: AMD, Boyd, Huawei, Hangzhou Artificial Intelligence Computing Center, Open Transun, Moore Thread, Qingyun Technology, Rise VAST, Suiyuan Technology και Wuwenxin Qiong, Yunxi Hashrate, Xinhua San , κ.λπ. (ταξινομημένα με αλφαβητική σειρά κατά pinyin).

Cui Huimin, ιδρυτής και διευθύνων σύμβουλος της Zhongke Jiahe, στη συνέντευξη Τύπου

Ετερογενής εγγενής υπολογιστική ισχύς τεχνητής νοημοσύνης, με στόχο την επίτευξη "τρεις μηδέν και ένα υψηλό"

Το σχέδιο που προτείνει ο Zhongke Jiahe στοχεύει να επιτρέψει την εφαρμογή μεγάλων μοντέλων AIΕπίτευξη μετεγκατάστασης μηδενικού κόστους, χρήσης μηδενικής απώλειας και αποτελεσματικής χρήσης ανάπτυξης μηδενικής καθυστέρησης σε διαφορετικά τσιπ。

Αυτό το σύνολο εργαλείων λογισμικού περιλαμβάνει τρία προϊόντα: την ετερογενή εγγενή μηχανή συμπερασμάτων μεγάλου μοντέλου "SigInfer", την ετερογενή εγγενή μηχανή μικρορύθμισης "SigFT" και το εργαλείο αυτόματης δημιουργίας και μετάφρασης χειριστή "SigTrans".

Μεταξύ αυτών, το SigInfer, που κυκλοφόρησε χθες, είναι μια πολλαπλών πλατφορμών, υψηλής απόδοσης ετερογενής εγγενής μηχανή συμπερασμάτων που δεν υποστηρίζει μόνο κάρτες επιτάχυνσης AI σε επίπεδο διακομιστή, αλλά και GPU σε επίπεδο καταναλωτή. Επομένως, μπορεί να αναπτυχθεί σε κέντρα δεδομένων και να επιταχύνει διάφορες τελικές συσκευές.

Ως τεχνική βάση για ετερογενή υπολογισμούς, η διαφορετική υπολογιστική ισχύς AI που προσεγγίζεται μέσω του SigInfer μπορεί να επιτύχει ενοποιημένες διεπαφές κλήσεων και ομαλή μετεγκατάσταση επιχειρηματικών εφαρμογών. Το SigInfer θα εκτελέσει βελτιστοποίηση σε βάθος πολλαπλών επιπέδων ενώ θα καλεί μια ποικιλία διαφορετικών υπολογιστικών δυνάμεων για να αξιοποιήσει πλήρως τις δυνατότητες της υπολογιστικής ισχύος του τσιπ.

Διαθέτει διάφορα χαρακτηριστικά των σύγχρονων μηχανών συμπερασμάτων μεγάλων μοντέλων, όπως υποστήριξη API Serving, προγραμματισμό αιτημάτων, διαχείριση παρτίδων, βελτιστοποίηση κρυφής μνήμης KV, παραλληλισμό τανυστών, παραλληλισμό αγωγών, παραλληλισμό ειδικών, ακόμη και παραλληλισμό αγωγών πολλαπλών μηχανών.

Ο Zhongke Jiahe είπε ότι η SigInfer ήδη υποστηρίζει τις περισσότερες από τις μεγάλες δομές μοντέλων στον κλάδο.

Επί του παρόντος, το SigInfer μπορεί ήδη να εφαρμόσει πλήρεις δυνατότητες μηχανών συμπερασμάτων. Το ετερογενές σύμπλεγμα καρτών επιτάχυνσης που υποστηρίζει μπορεί να προγραμματίσει με ευελιξία κάρτες επιταχυντών NVIDIA AI + εγχώριες κάρτες επιταχυντή AI για υβριδικά συμπεράσματα και μπορεί να επεκταθεί σε τρισεκατομμύρια μεγάλα μοντέλα.

Η χρήση του SigInfer για να βοηθήσει την ανάπτυξη τσιπ τεχνητής νοημοσύνης μπορεί να επιτρέψει σε μεγάλες υπηρεσίες μοντέλων να διατηρήσουν υψηλή απόδοση και χαμηλή καθυστέρηση όταν αυξάνονται οι απαιτήσεις πρόσβασης για επιχειρήσεις.

Όταν χρησιμοποιείτε την ίδια κάρτα γραφικών NVIDIA, μπορούμε να δούμε ότι το SigInfer μπορεί να παρέχει ένα πιο προφανές αποτέλεσμα επιτάχυνσης:

Επιπλέον, όταν χρησιμοποιούνται εγχώρια τσιπ για την ολοκλήρωση παρόμοιων εργασιών, το SigInfer μπορεί επίσης να βελτιώσει τον ρυθμό διεκπεραίωσης των καρτών επιτάχυνσης AI σε παράλληλους υπολογιστές, ενώ μειώνει σημαντικά την καθυστέρηση στην έξοδο των Tokens.

Τα ετερογενή ηλεκτρικά εργαλεία υπολογιστικής τεχνητής νοημοσύνης μπορούν να προσαρμόσουν την υπολογιστική συχνότητα του επιταχυντή AI με βάση διαφορετικά στάδια επεξεργασίας εργασιών μεγάλου μοντέλου, χαρακτηριστικά χειριστή, προσαρμοστική βελτιστοποίηση στόχου βελτιστοποίησης κ.λπ., επιτυγχάνοντας έτσι υψηλή απόδοση. Ο Zhongke Jiahe υπολόγισε έναν λογαριασμό για εμάς Κατά τη λειτουργία του κέντρου δεδομένων, η χρήση του A800 plus SigInfer μπορεί να αυξήσει την αναλογία ενεργειακής απόδοσης κατά 46% σε σύγκριση με το vllm.

Εκτός από τη βελτιστοποίηση της υποδομής cloud, ο Zhongke Jiahe επέδειξε επίσης βελτιστοποίηση απόδοσης για συμπεράσματα από την πλευρά του πελάτη. Το SigInfer μπορεί να επιταχύνει τον εξοπλισμό τσιπ που βασίζεται σε μεγάλους κατασκευαστές όπως η Intel, η Qualcomm και η AMD Σε σύγκριση με τις κύριες λύσεις ανάπτυξης του κλάδου, το SigInfer μπορεί να αυξήσει την αποτελεσματικότητα των συμπερασμάτων από την πλευρά της συσκευής έως και 5 φορές.

Πίσω από τις ετερογενείς βελτιώσεις υπολογιστών και απόδοσης βρίσκονται η εφαρμογή και η βελτιστοποίηση μιας σειράς τεχνολογιών αιχμής και μηχανικής.

Προκειμένου να βελτιωθεί η αποτελεσματικότητα των παράλληλων υπολογιστών, ο Zhongke Jiahe εισήγαγε μια σειρά βελτιστοποιήσεων. Για παράδειγμα, η βελτιστοποίηση πρόσβασης στη μνήμη στο στάδιο της εις βάθος αποκωδικοποίησης επιτρέπει στην κρυφή μνήμη KV να αποκτήσει πολυπλεξία σε επίπεδο καταχωρητή Σε σύγκριση με τη φόρτωση από το L2, τόσο η καθυστέρηση όσο και το εύρος ζώνης έχουν βελτιστοποιηθεί.

Ταυτόχρονα, προκειμένου να μετριαστεί η μείωση του παραλληλισμού, ερευνητές από τον Zhongke Jiahe πραγματοποίησαν επίσης παράλληλες διαιρέσεις στη διάσταση ακολουθίας των δεδομένων. Σε συνδυασμό με τη βελτιστοποίηση επαναχρησιμοποίησης του KV Cache, όχι μόνο εξοικονομεί πρόσβαση στη μνήμη, αλλά αυξάνει και τον παραλληλισμό, βελτιώνοντας την απόδοση εκτέλεσης του βασικού υπολογισμού ολόκληρου του μηχανισμού προσοχής.

Ο Zhongke Jiahe έχει επίσης εξερευνήσει μεθόδους παραγωγής χειριστή υψηλής απόδοσης για ετερογενή υπολογιστική ισχύ. Συνεργαζόμενος με κατασκευαστές υπολογιστικής ισχύος, ο Zhongke Jiahe μετέφερε το cutlass στην οικιακή αρχιτεκτονική τσιπ, βελτιώνοντας σημαντικά τη λειτουργική απόδοση του πολλαπλασιασμού μήτρας. Μεταξύ αυτών, η εταιρεία πέτυχε πάνω από 20% βελτίωση της απόδοσης μέσω της βελτιστοποίησης σε συνδυασμό με την τεχνολογία μεταγλώττισης.

Με την υποστήριξη μιας σειράς τεχνολογιών, τα ετερογενή ηλεκτρικά εργαλεία τεχνητής νοημοσύνης Jiahe έχουν επιτύχει εξαιρετική βελτιστοποίηση ενεργειακής απόδοσης.

Ξεκινώντας από την τεχνολογία μεταγλώττισης: Η τεχνική διαδρομή του Zhongke Jiahe

Διαφορετικές από τις δυνατότητες που παρείχαν ορισμένες εταιρείες υποδομής υπολογιστικής τεχνητής νοημοσύνης στο παρελθόν,Ο ετερογενής υπολογισμός και η επιτάχυνση που παρέχει ο Zhongke Jiahe επικεντρώνονται στην τεχνολογία μεταγλώττισης.。

Για τους υπολογιστές, η εργασία που γίνεται από το επίπεδο μεταγλώττισης είναι "μετάφραση". Είναι υπεύθυνη για τη μετατροπή του περιεχομένου της γλώσσας προγραμματισμού υψηλού επιπέδου που γράφτηκε από ανθρώπους σε μια γλώσσα που μπορεί να κατανοήσει και να εκτελέσει το μηχάνημα.

Σε αυτή τη διαδικασία, η μεταγλώττιση πρέπει επίσης να βελτιστοποιηθεί, δηλαδή να βελτιωθεί η λειτουργική απόδοση του παραγόμενου κώδικα μηχανής. Όταν πρόκειται για απόδοση chip, η μεταγλώττιση παίζει μεγάλο ρόλο, αλλά συχνά παραβλέπεται.

Η υπολογιστική πλατφόρμα CUDA παίζει σημαντικό ρόλο στα πιο δημοφιλή τσιπ NVIDIA στον κλάδο. Περιλαμβάνει γλώσσες προγραμματισμού, μεταγλωττιστές, διάφορες βιβλιοθήκες επιτάχυνσης υψηλής απόδοσης και πλαίσια τεχνητής νοημοσύνης. Μπορεί να λειτουργήσει ως διανομέας όταν ο υπολογιστής εκτελεί εργασίες, κάνοντας πλήρη χρήση των υπολογιστικών πόρων διαφορετικού υλικού για να εκτελούνται σύνθετα μοντέλα κώδικα. Μπορεί να ειπωθεί ότι το σημερινό οικοσύστημα AI βασίζεται σε μεγάλο βαθμό στο CUDA.

Για την εγχώρια υπολογιστική ισχύ, προκειμένου να επιτευχθεί μεγάλης κλίμακας εφαρμογή, είναι απαραίτητο να οικοδομήσουμε την απαιτούμενη οικολογία και δυνατότητες.

Στην εποχή της γενετικής τεχνητής νοημοσύνης, η ζήτηση των ανθρώπων για υπολογιστική ισχύ έχει προωθήσει την ανάπτυξη της τεχνολογίας τσιπ, αλλά έχουν επίσης προκύψει νέες προκλήσεις:

• Από την οπτική γωνία των εταιρειών τσιπ, το οικοσύστημα εξελίσσεται επίσης σε πολλαπλά τμήματα, γεγονός που θα οδηγήσει σε αυξημένο κόστος ανάπτυξης και ζητήματα όπως η αποτελεσματικότητα και η συμβατότητα υλοποίησης.
• Από την προοπτική της ανάπτυξης του κλάδου, η τεχνολογία AI αναπτύσσεται γρήγορα και καλύπτει όλο και περισσότερα σενάρια, πράγμα που σημαίνει ότι θα εμπλέκονται περισσότεροι τύποι υπολογιστικής ισχύος, γεγονός που προωθεί περαιτέρω τη ζήτηση για ετερογενείς υπολογιστές.

Ως εκ τούτου, η βιομηχανία χρειάζεται επειγόντως μια αποτελεσματική αλυσίδα εργαλείων που μπορεί να υποστηρίξει μια ποικιλία εγχώριων τσιπ. Εάν ένα σύνολο βασικού λογισμικού γενικής χρήσης, χαμηλού κόστους και υψηλής απόδοσης μπορεί να αναδυθεί και να βοηθήσει τους οικολογικούς συνεργάτες να μεταμοσχεύσουν γρήγορα εφαρμογές που έχουν αναπτυχθεί με βάση το οικοσύστημα της NVIDIA, οι δυνατότητες των εγχώριων τσιπ μπορούν να απελευθερωθούν πλήρως, οδηγώντας έτσι τον ρυθμό της τεχνολογικής έρευνας και ανάπτυξης. Δημιουργήστε σταδιακά έναν θετικό κύκλο που καθιερώνει το οικοσύστημα υπολογιστικής ισχύος AI.

Αυτό έκανε ο Zhongke Jiahe.

Το βασικό επίπεδο πλατφόρμας λογισμικού που παρέχεται από τον Zhongke Jiahe είναι τοποθετημένο στα επίπεδα χειριστή, μεταγλωττιστή και πλαισίου, δημιουργώντας μια γέφυρα μεταξύ υλικού και λογισμικού.Τα ετερογενή υπολογιστικά εργαλεία τεχνητής νοημοσύνης που παρέχει μπορούν να βοηθήσουν τους χρήστες να μεταφέρουν ομαλά μοντέλα τεχνητής νοημοσύνης και αρχιτεκτονικές τσιπ, γεγονός που προσφέρει μεγάλη ευκολία στις εφαρμογές τεχνητής νοημοσύνης.

Όλα αυτά τα επίπεδα δυνατοτήτων περιλαμβάνουν τεχνολογία μεταγλώττισης. Η κάλυψη της μεταγλώττισης τεχνητής νοημοσύνης περιλαμβάνει τόσο το επίπεδο όσο και το επίπεδο χειριστή Σε σύγκριση με τους παραδοσιακούς μεταγλωττιστές, το εύρος του σημασιολογικού μετασχηματισμού είναι ευρύτερο. Για παράδειγμα, οι μεταγλωττιστές τεχνητής νοημοσύνης πρέπει γενικά να εξετάζουν το ενδεχόμενο διαχωρισμού γραφημάτων υπολογισμού, σύντηξης υπογραφών, παράλληλων υπολογιστών, αποκλεισμού δεδομένων κ.λπ. Αυτά είναι δύσκολο να λυθούν προβλήματα.

Από αυτή την άποψη, ο Zhongke Jiahe έχει ολοκληρώσει πολλές έρευνες, όπως τη διεξαγωγή ανάλυσης παγκόσμιας ροής δεδομένων σε επίπεδο έκφρασης Tensor, την κατασκευή ακριβών γραφημάτων υπολογισμού και γραφημάτων εξάρτησης δεδομένων και στη συνέχεια σπάζοντας τα όρια χειριστή για τη σύντηξη χειριστή, και έχει επιτύχει καλά αποτελέσματα. Αποτέλεσμα. Σε ορισμένα δίκτυα, η μέθοδός του πέτυχε λόγο επιτάχυνσης έως και 3,7 φορές σε σύγκριση με το προηγμένο επίπεδο του κλάδου. Σχετικά αποτελέσματα εργασιών δημοσιεύθηκαν στο κορυφαίο φετινό συνέδριο στον τομέα των υπολογιστών.

Δημιουργήστε ολοκληρωμένες λύσεις υπολογιστικής ισχύος που θα βοηθήσουν στην ευημερία του εγχώριου οικοσυστήματος τεχνητής νοημοσύνης

Η Zhongke Jiahe ιδρύθηκε τον Ιούλιο του 2023 και η ομάδα της προέρχεται κυρίως από το Ινστιτούτο Τεχνολογίας Υπολογιστών της Κινεζικής Ακαδημίας Επιστημών. Ο ιδρυτής, Cui Huimin, αποφοίτησε από το Τμήμα Επιστήμης Υπολογιστών του Πανεπιστημίου Tsinghua και είναι επικεφαλής της ομάδας συλλογής του Ινστιτούτου Τεχνολογίας Υπολογιστών της Κινεζικής Ακαδημίας Επιστημών. Η βασική ομάδα της εταιρείας έχει περισσότερα από 20 χρόνια εμπειρίας στην έρευνα και ανάπτυξη μεταγλωττιστών και έχει υπηρετήσει ως βασικό μέλος στην προεδρία ή τη συμμετοχή στην έρευνα και ανάπτυξη μεταγλωττιστών ενός αριθμού εγχώριων τσιπ.

Από την ίδρυσή της, η εταιρεία έχει επικεντρωθεί στην τεχνολογία συλλογής και βελτιστοποίησης τσιπ και δεσμεύεται να παρέχει καθολικούς, χαμηλού κόστους, υπολογιστικούς πόρους υψηλής απόδοσης, με αποστολή «να συγκεντρώσει τη συνδυασμένη δύναμη των τσιπ για τη δημιουργία ενός εγχώριου οικοσυστήματος». Επί του παρόντος, ο Zhongke Jiahe έχει λάβει πολλαπλούς γύρους χρηματοδότησης συνολικού ύψους σχεδόν 100 εκατομμυρίων γιουάν.

Η Zhongke Jiahe κατασκευάζει μια σειρά προϊόντων γύρω από τρεις διαδρομές, συμπεριλαμβανομένης μιας μηχανής συμπερασμάτων μεγάλου μοντέλου AI που υποστηρίζει ετερογενή υπολογιστική ισχύ, ένα μεγάλο πλαίσιο προσαρμογής μοντέλων και μια σουίτα εργαλείων μεταγλώττισης AI. Δεν μπορούν μόνο να βοηθήσουν τους χρήστες υπολογιστικής ισχύος να χρησιμοποιούν γρήγορα διαφοροποιημένη υπολογιστική ισχύ τεχνητής νοημοσύνης, αλλά και να βοηθήσουν τους προμηθευτές υπολογιστικής ισχύος να βελτιώσουν το οικοσύστημα λογισμικού και να ενισχύσουν την ανταγωνιστικότητα, ολοκληρώνοντας ένα σημαντικό κομμάτι του εγχώριου οικοσυστήματος υπολογιστικής ισχύος AI.

Το πιο σημαντικό, ο Zhongke Jiahe ελπίζει να γίνει μια «γέφυρα επικοινωνίας», που θα συνδέει μεγάλο αριθμό χρηστών υπολογιστικής ισχύος και παρόχων υπολογιστικής ισχύος, έτσι ώστε και τα δύο μέρη να μπορούν να πάνε ευχάριστα και προς τις δύο κατευθύνσεις, προωθώντας έτσι την ανάπτυξη ετερογενούς εγγενούς υπολογιστικής ισχύος AI σε εφαρμογές μεγάλης κλίμακας και τη δυναμική ανάπτυξη του εγχώριου οικοσυστήματος τεχνητής νοημοσύνης.