Νέα

[Global Times Reporter Ma Jun] Οι Ηνωμένες Πολιτείες βασίζονται στα πλεονεκτήματά τους σε λογισμικό και υλικό για να χρησιμοποιήσουν την κλίμακα τους για να δημιουργήσουν την πιο ισχυρή τεχνητή νοημοσύνη (AI) στον κόσμο. Ο Αμερικανός δισεκατομμυριούχος Μασκ ανακοίνωσε πρόσφατα στα μέσα κοινωνικής δικτύωσης ότι η start-up εταιρεία του AI xAI έχει αρχίσει να χρησιμοποιεί ένα "Memphis Super Cluster" που αποτελείται από 100.000 GPU H100 για εκπαίδευση τεχνητής νοημοσύνης, ισχυριζόμενος ότι είναι "το πιο ισχυρό σύμπλεγμα εκπαίδευσης AI στον κόσμο". Θα έπρεπε η Κίνα να ακολουθήσει αυτή την τεχνολογική πορεία με επικεφαλής τις Ηνωμένες Πολιτείες; Πρόσφατα, στο Σεμινάριο Εμπειρογνωμόνων για την Ανάπτυξη Υπολογιστικής Ισχύος της Κίνας το 2024 που συνχορηγήθηκε από την China Intelligent Computing Industry Alliance και την ομάδα εργασίας Computing Power Standards της Επιτροπής National Beacon, αρκετοί ακαδημαϊκοί και ειδικοί έδωσαν τις αντίστοιχες απόψεις τους.

Το μέλλον της ολοκλήρωσης υπερ-νοημοσύνης θα χωριστεί σε τρία στάδια

Ο Chen Runsheng, ακαδημαϊκός της Κινεζικής Ακαδημίας Επιστημών, δήλωσε στο σεμινάριο: "Τα μεγάλα μοντέλα τεχνητής νοημοσύνης είναι εκπρόσωποι νέας παραγωγικότητας. Η ολοκληρωμένη ανάπτυξη μεγάλων μοντέλων και υπερυπολογιστών είναι πολύ σημαντική. Η χώρα μας πρέπει να το σχεδιάσει και να το εξετάσει σοβαρά Ο ερευνητής Zhang Yunquan του Ινστιτούτου Τεχνολογίας Υπολογιστών της Κινεζικής Ακαδημίας Επιστημών ανέφερε ότι η ταχεία ανάπτυξη μεγάλων μοντέλων καταδεικνύει τα χαρακτηριστικά της νέας παραγωγικότητας, αλλά αυτή τη στιγμή αντιμετωπίζει επίσης ένα πρόβλημα υπολογιστικής ισχύος. Λαμβάνοντας υπόψη τη βαθιά τεχνολογική συσσώρευση της Κίνας στον τομέα των υπερυπολογιστών, ελπίζουμε ότι η υπερέξυπνη σύντηξη (η σύντηξη υπερυπολογιστών και ευφυών υπολογιστών που αντιπροσωπεύονται από μεγάλα μοντέλα) μπορεί να επιλύσει αποτελεσματικά αυτήν την πρόκληση. Ο Shan Zhiguang, διευθυντής του Τμήματος Πληροφόρησης και Βιομηχανικής Ανάπτυξης του Εθνικού Κέντρου Πληροφοριών, εξήγησε, «Η υπερ-έξυπνη σύντηξη γεννήθηκε με την τρέχουσα διαφοροποιημένη ανάπτυξη της βασικής υπολογιστικής ισχύος, της ευφυούς υπολογιστικής ισχύος, της υπερυπολογιστικής ισχύος κ.λπ. αν μπορεί να χρησιμοποιήσει υβριδικούς υπολογιστικούς πόρους ή ολοκληρωμένα υπολογιστικά συστήματα για να καλύψει τις ανάγκες εφαρμογής πολλών διαφορετικών υπολογιστικών πόρων ταυτόχρονα».

Κατά την πρόβλεψη της μελλοντικής διαδικασίας ολοκλήρωσης της υπερ-νοημοσύνης, ο Qian Depei, ακαδημαϊκός της Κινεζικής Ακαδημίας Επιστημών, πιστεύει ότι θα εξελιχθεί σαφώς κατά μήκος των τριών σταδίων για την τεχνητή νοημοσύνη, από την τεχνητή νοημοσύνη και την τεχνητή νοημοσύνη, εξελισσόμενη με έναν ολοκληρωμένο τρόπο από το υλικό στο λογισμικό για την προσαρμογή και την προώθηση της τεχνητής νοημοσύνης. Στην πρώτη φάση για την τεχνητή νοημοσύνη, θα επικεντρωθεί στον μετασχηματισμό και την αναβάθμιση των υφιστάμενων συστημάτων υπολογιστών και στην ανάπτυξη αποκλειστικού υλικού για να διασφαλιστεί ότι οι εργασίες τεχνητής νοημοσύνης μπορούν να υποστηριχθούν και να εκτελεστούν αποτελεσματικά και να παρέχει μια σταθερή υποδομή για έρευνα τεχνητής νοημοσύνης. Στο δεύτερο στάδιο, η τεχνητή νοημοσύνη θα χρησιμοποιηθεί για τον μετασχηματισμό των παραδοσιακών υπολογιστών γίνει εμφανής. Στο τελικό στάδιο της τεχνητής νοημοσύνης, το σύστημα του υπολογιστή θα παρουσιάζει εγγενή έξυπνα χαρακτηριστικά, η τεχνητή νοημοσύνη δεν είναι πλέον μια εξωτερική ικανότητα, αλλά έχει γίνει το βασικό χαρακτηριστικό και το βασικό συστατικό του υπολογιστή Η ευφυΐα θα είναι πολύ διαφορετική.

Ο Chen Runsheng παρατήρησε ότι η επιστημονική κοινότητα και η βιομηχανία προσπαθούν να λύσουν το πρόβλημα της ενοποίησης των υπερυπολογιστών και των ευφυών υπολογιστών. Για παράδειγμα, η πιο πρόσφατη αρχιτεκτονική GB200 της Nvidia είναι στην πραγματικότητα δύο GPU συν μία CPU Κατά μία έννοια, μπορεί να θεωρηθεί ότι εκμεταλλεύεται τόσο τον ευφυή υπολογισμό όσο και τον υπερυπολογισμό στη διάταξη των δύο GPU που εκτελούν μηχανική εκμάθηση, προσθέτοντας ότι η CPU παρέχει υψηλή ταχύτητα μετάδοση δεδομένων. Αλλά πιστεύει ότι αυτή η αρχιτεκτονική δεν λύνει θεμελιωδώς το πρόβλημα της απόδοσης. «Ο συνδυασμός υπερυπολογιστών και ευφυών υπολογιστών είναι αναπόφευκτος και θα ενσωματωθεί οργανικά αντί να συνδυάζεται απλά».

Ο Zheng Weimin, ακαδημαϊκός της Κινεζικής Ακαδημίας Μηχανικών, είπε επίσης ότι όλες οι πτυχές της ανάπτυξης, της εκπαίδευσης, της τελειοποίησης και της εξαγωγής συμπερασμάτων μεγάλων μοντέλων είναι αδιαχώριστες από την υπολογιστική ισχύ και το κόστος της υπολογιστικής ισχύος αποτελεί το μεγαλύτερο μέρος του συνόλου. δαπάνη, ειδικά στο στάδιο της κατάρτισης, που ανέρχεται σε 70%. Λαμβάνοντας υπόψη αυτό, η υπολογιστική ισχύς έχει γίνει βασικός παράγοντας που υποστηρίζει την ανάπτυξη μεγάλων μοντέλων.

Οι ευφυείς υπολογιστές θα πρέπει να αναφέρονται στην "ανθρώπινη νοημοσύνη"

Κινέζοι ακαδημαϊκοί και ειδικοί έχουν διατυπώσει τις δικές τους απόψεις για την τρέχουσα τρέλα με τα μοντέλα μεγάλης κλίμακας της Κίνας και την τεχνολογική πορεία που πρέπει να ακολουθήσει η «κλίμακα αντιδραστήρων» των Ηνωμένων Πολιτειών. Ο Qian Depei είπε ότι η Κίνα έχει τώρα περισσότερα μοντέλα μεγάλης κλίμακας σε αριθμό και τύπους από τις Ηνωμένες Πολιτείες, και επίσης ασχολούνται με τη γενική τεχνητή νοημοσύνη, ωστόσο, δεν είμαστε αυστηρά περιορισμένοι από τις Ηνωμένες Πολιτείες όσον αφορά το υλικό, αλλά και Η ποιότητα των δεδομένων που χρησιμοποιούνται για την εκπαίδευση μοντέλων μεγάλης κλίμακας Τόσο το μοντέλο όσο και η ποσότητα είναι σχετικά μικρή: «Μπορεί το μεγάλο μοντέλο που παράγεται να είναι καλύτερο από αυτό των Ηνωμένων Πολιτειών; συνθήκες και δεν μπορεί να ακολουθήσει πλήρως τους Αμερικανούς».

Ο Chen Runsheng πιστεύει επίσης ότι τα μεγάλα μοντέλα που αναδύονται αυτή τη στιγμή στην Κίνα είναι βασικά βελτιώσεις στα μεγάλα μοντέλα και τους αλγόριθμους που προτείνονται από τις Ηνωμένες Πολιτείες, αλλά δεν λαμβάνεται υπόψη η βασική θεωρία ολόκληρου του μεγάλου μοντέλου. Στο σεμινάριο επεσήμανε ότι σε σύγκριση με το μοντέλο τοπικής μνήμης που χρησιμοποιούν οι παραδοσιακοί υπερυπολογιστές, ο ευφυής υπολογισμός δείχνει μια θεμελιώδη διαφορά - την κατανεμημένη αποθήκευση πληροφοριών.Αυτή η μέθοδος αποθήκευσης μιμείται τον ανθρώπινο εγκέφαλοΝευρωνικά δίκτυα Η πολύπλοκη δομή μεταφέρει ολοένα και πιο μεγάλα μοντέλα μέσω δικτύων τσιπ μεγάλης κλίμακας και πυκνά διασυνδεδεμένα. Ωστόσο, πώς να ενσωματωθεί αποτελεσματικά η ανθρώπινη γνώση σε αυτά τα πολύπλοκα συστήματα και πώς οι πληροφορίες διανέμονται και αποθηκεύονται στο σύστημα, οι αλγόριθμοι και οι τεχνικές θεωρίες πίσω από αυτό δεν έχουν ακόμη διερευνηθεί πλήρως. "Με την ανεξέλεγκτη επέκταση της κλίμακας μοντέλων, ένα ανυπέρβλητο πρόβλημα είναι η κατανάλωση ενέργειας. Επομένως, δεν είναι απολύτως σκόπιμο να προσθέτουμε τυφλά τσιπ και να βασιζόμαστε στην αυξανόμενη πολυπλοκότητα του συστήματος για να λύσουμε το πρόβλημα αποθήκευσης μεγάλων μοντέλων."

Ως εκ τούτου, ο Chen Runsheng πιστεύει ότι οι μελλοντικοί ευφυείς υπολογιστές θα πρέπει να αναφέρονται ακόμα στην «ανθρώπινη νοημοσύνη», η οποία είναι η προσομοίωση του μηχανισμού λειτουργίας του ανθρώπινου εγκεφάλου. Ο ανθρώπινος εγκέφαλος είναι πολύ μικρός και καταναλώνει μόνο δεκάδες watt ενέργειας, αλλά η νοημοσύνη που παράγει ξεπερνά την τρέχουσα τεχνητή νοημοσύνη αιχμής, η οποία καταναλώνει τόση ενέργεια όσο μια ολόκληρη πόλη. "Η ανάπτυξη μεγάλων μοντέλων και ευφυών υπολογιστών απαιτεί όχι μόνο βελτιώσεις σε μοντέλα και αλγόριθμους σε επίπεδο εφαρμογής, αλλά απαιτεί και ανακαλύψεις από την άποψη της βασικής θεωρίας. Επί του παρόντος, τα μεγάλα μοντέλα έχουν αναπτύξει μόνο το πρώτο 10% και το 90% των Δεν έχει γίνει δουλειά, πιστεύω επίσης ότι τα μεγάλα μοντέλα δεν επιτυγχάνονται με τη στοίβαξη ολοένα και περισσότερων τσιπ Νομίζω ότι είναι το πιο βασικό Το πρόβλημα είναι να μελετήσουμε την τρέχουσα διαστημική πολυπλοκότητα για να ολοκληρώσουμε τη βασική θεωρία των ευφυών υπολογιστών.

Ο Yuan Guoxing, ερευνητής στο Ινστιτούτο Εφαρμοσμένης Φυσικής και Υπολογιστικών Μαθηματικών του Πεκίνου, πιστεύει ότι είναι αδύνατο να περιμένουμε ένα γενικό μεγάλο μοντέλο να μπορεί να λύνει προβλήματα σε όλα τα κοινωνικά στρώματα. Από την πραγματική κατάσταση, διαφορετικές εφαρμογές έχουν διαφορετικές τεχνολογίες, απαιτούν διαφορετικούς αλγόριθμους και έχουν διαφορετικές απαιτήσεις για υπολογιστική ισχύ. Για παράδειγμα, στην επιστημονική πληροφορική, οι απαιτήσεις για ακρίβεια υπολογισμών γίνονται όλο και υψηλότερες Καθώς η κλίμακα των υπολογιστών διευρύνεται, υπάρχουν ολοένα και περισσότερα δεδομένα και η αξιοπιστία μειώνεται συνεχώς. NASA (NASA ) πρότειναν επίσης μια παρόμοια άποψη, και έθεσαν πολύ υψηλές απαιτήσεις για ακρίβεια υπολογισμού. Επομένως, διαφορετικές εφαρμογές στο μέλλον θα έχουν διαφορετικά μεγάλα μοντέλα και διαφορετικούς υπολογισμούς για την επίλυση διαφορετικών προβλημάτων. Τα σημερινά μεγάλα μοντέλα έχουν εντελώς διαφορετικές απαιτήσεις για ακρίβεια υπολογισμού και αλγόριθμους.

China Academy of Information and Communications Technologycloud computingΟ He Baohong, διευθυντής του Ινστιτούτου Έρευνας Μεγάλων Δεδομένων, πρόσθεσε: «Οι υπολογιστές και η εκπαίδευση έχουν διαφορετικές απαιτήσεις για την υποκείμενη υποδομή και είναι επίσης απαραίτητο να καθοριστεί σε ποια σενάρια πρέπει να θωρακίζονται οι διαφορές και σε ποια σενάρια πρέπει να αντικατοπτρίζονται οι διαφορές. "

Ανάγκη ανάπτυξης μεγάλων μοντέλων σε επίπεδο κράτους

Ο Zhang Yunquan είπε ότι οι Ηνωμένες Πολιτείες προσπάθησαν πρόσφατα να «κολλήσουν» τη χώρα μου στην ανάπτυξη τεχνητής νοημοσύνης μέσω μιας σειράς ενεργειών, συμπεριλαμβανομένης της απαγόρευσης της πώλησης GPU υψηλής τεχνολογίας, του τερματισμού της κοινής χρήσης πηγαίου κώδικα για μεγάλα μοντέλα και της διακοπής οικολογική συνεργασία. Ταυτόχρονα, όταν η υπολογιστική κλίμακα των μεγάλων μοντέλων φτάνει τώρα τις 10.000 GPU, ή ακόμα και τις 100.000 GPU, είναι απαραίτητο να αναπτυχθούν ειδικοί υπερυπολογιστές για μεγάλα μοντέλα για να ξεπεράσουν τεχνικά σημεία συμφόρησης, όπως τοίχους κατανάλωσης ενέργειας, τοίχους αξιοπιστίας και παράλληλους τοίχους. Σε αυτό το πλαίσιο, εάν η Κίνα θέλει να ξεπεράσει το σημείο συμφόρησης της υπολογιστικής ισχύος των μεγάλων μοντέλων βραχυπρόθεσμα, η Κίνα έχει δρόμο να διανύσει: χρησιμοποιώντας την προηγμένη τεχνολογία υπερυπολογιστών που έχει συσσωρευτεί τις τελευταίες δύο δεκαετίες για να αναπτύξει υπερυπολογιστές αφιερωμένους σε μεγάλα μοντέλα για να ξεπεράσει την προβλήματα υπολογιστικής ισχύος μεγάλων μοντέλων, ώστε η χώρα μας να μπορεί να κατανοήσει σταθερά το πιο προηγμένο επίπεδο των παγκόσμιων μεγάλων μοντέλων και να μην μείνει πίσω.

Όταν ο Zhang Yunquan εισήγαγε το σχέδιο "Sovereign Large Model" στο πλαίσιο του υπερ-έξυπνου συστήματος σύντηξης, είπε ότι η χώρα μας έχει βαθιά τεχνολογική συσσώρευση στον τομέα των υπερυπολογιστών Τα τελευταία χρόνια, έχει επενδύσει τεράστια ποσά για την ανάπτυξη ευφυών υπολογιστική ισχύς, με επίκεντρο τη δημιουργία ενός υπερ-έξυπνου υπολογιστικού συστήματος σύντηξης ως κέντρου.Σύμφωνα με την ανάπτυξη του σχεδίου "Sovereign Level Large Model", η κοινοπραξία καινοτομίας "Sovereign Level Large Model" θα βασίζεται στον εθνικό υπερυπολογιστή, γνωστές ομάδες καθηγητών από την Κινεζική Ακαδημία Επιστημών και εθνικά βασικά πανεπιστήμια, εταιρείες έξυπνων τσιπ, μεγάλες εταιρείες λύσεων μοντέλου κ.λπ. να δημιουργήσουν από κοινού παρόμοιαOpenAI Ένας ανοιχτός οργανισμός, το "μεγάλο μοντέλο σε επίπεδο κράτους" αναπτύσσεται από τον μη κερδοσκοπικό οργανισμό και το "μεγάλο μοντέλο σε επίπεδο κυρίαρχου" εφαρμόζεται από τον οργανισμό κερδοσκοπικού τομέα. Πρότεινε ότι ο υπερυπολογιστής είναι «το πιο σημαντικό όπλο της χώρας» και πρέπει να χρησιμοποιηθεί για να ξεπεραστούν οι μεγαλύτερες και πιο δύσκολες προκλήσεις. Το μεγάλο μοντέλο σε επίπεδο κυρίαρχου είναι ένα ριζικό μοντέλο που μπορεί να υποστηρίξει την εθνική ανάπτυξη, όχι ένα συνηθισμένο μεγάλο μοντέλο. Παρόμοια σούπερ μοντέλα σε εθνικό επίπεδο έχουν λάβει επίσης μεγάλη προσοχή από άλλες χώρες ανάπτυξη μοντέλων σε εθνικό επίπεδο.

Ο Chen Runsheng πιστεύει ότι με βάση τις τρέχουσες βασικές συνθήκες της Κίνας και την αναπόφευκτη τάση ανάπτυξης μεγάλων μοντέλων, δεν είναι ρεαλιστικό να ακολουθήσουμε πλήρως τη δυτική προσέγγιση και θα είναι δύσκολο να καλύψουμε τη διαφορά βραχυπρόθεσμα. Ως εκ τούτου, είναι ακόμη πιο σημαντικό να βρεθεί ένας τρόπος για την ανάπτυξη μοντέλων μεγάλης κλίμακας σε επίπεδο κράτους.