Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

έξυπνα πράγματα
Συντάχθηκε από τον Chen Junda
EditPanken

Σύμφωνα με αναφορές ξένων μέσων ενημέρωσης, λόγω των υψηλών τιμών των συμπλεγμάτων υπολογιστικής ισχύος AI και των παραγγελιών από μεγάλες επιχειρήσεις, πολλά αμερικανικά πανεπιστήμια αντιμετωπίζουν σοβαρή έλλειψη υπολογιστικής ισχύος, η οποία έχει οδηγήσει σε υστέρηση στην έρευνα της τεχνητής νοημοσύνης στα πανεπιστήμια και την έλλειψη ερευνητικών ταλέντων τεχνητής νοημοσύνης.

Η έλλειψη υπολογιστικής ισχύος στα πανεπιστήμια υπάρχει εδώ και πολύ καιρό, και ακόμη και κορυφαία πανεπιστήμια και ακαδημαϊκοί ηγέτες προβληματίζονται από αυτό το πρόβλημα. Τον Μάιο του τρέχοντος έτους, ο καθηγητής του Πανεπιστημίου Στάνφορντ Λι Φεϊφέι δήλωσε ότι η ακαδημαϊκή κοινότητα αντιμετωπίζει σοβαρή έλλειψη υπολογιστικών πόρων τεχνητής νοημοσύνης.Το εργαστήριο NLP του Πανεπιστημίου Στάνφορντ διαθέτει μόνο 64 GPU (NVIDIA A100). Ο νικητής του βραβείου Turing, Τζέφερι Χίντον, είπε ακόμη και ωμά όταν οι μαθητές ζήτησαν βοήθεια:Δεν ξέρω τι άλλο να κάνω για αυτό το θέμα εκτός από το να ρωτήσω την κυβέρνηση.”

Σε πλήρη αντίθεση, η μητρική εταιρεία του Facebook Meta αναμένεται να το κάνειΔιαθέτει ένα τεράστιο σύμπλεγμα υπολογιστικής ισχύος που ισοδυναμεί με 600.000 NVIDIA H100, το οποίο είναι σχεδόν 10.000 φορές μεγαλύτερο από αυτό του συμπλέγματος Stanford NLP Laboratory.

Αλλά οι 64 GPU στο Εργαστήριο NLP του Πανεπιστημίου Stanford είναι ήδη μια φαντασίωση για πολλούς φοιτητές από άλλα πανεπιστήμια. Στην πραγματικότητα, εκτός από μερικά κορυφαία πανεπιστήμια όπως το Πανεπιστήμιο Πρίνστον και το Πανεπιστήμιο RWTH του Άαχεν στη Γερμανία,Πολλά πανεπιστήμια δεν διαθέτουν καν GPU Nvidia A100.。

Σε μια σχετική συζήτηση στο φόρουμ του Reddit, ορισμένοι διδακτορικοί φοιτητές από πανεπιστήμια της Βόρειας Αμερικής ανέφεραν ότι τα μικρά πανεπιστήμια μπορούν να αποκτήσουν μόνο τη GPU V100 που κυκλοφόρησε από την Nvidia πριν από πολλά χρόνια.Η κατάσταση στα πανεπιστήμια της Ευρώπης και της Ασίας είναι ακόμη πιο σοβαρήΧρήση των καρτών γραφικών καταναλωτικής ποιότητας της Nvidia για έρευνα τεχνητής νοημοσύνης . Ακόμα κι έτσι, η υπολογιστική ισχύς είναι εξαιρετικά σπάνια και ορισμένοι μαθητές πρέπει να αγοράσουν κάρτες γραφικών με δικά τους έξοδα ή να υποβάλουν αίτηση για επιδοτήσεις υπολογιστικής ισχύος από την NVIDIA, την Amazon Cloud Service (AWS) κ.λπ.

Πολλά πανεπιστήμια εργάζονται επίσης σκληρά για να αλλάξουν το status quo, όπως η δημιουργία κοινών συμπλεγμάτων υπολογιστών μέσω διασχολικής συνεργασίας ή η στροφή σε άλλες ερευνητικές κατευθύνσεις τεχνητής νοημοσύνης που απαιτούν χαμηλότερη υπολογιστική ισχύ.

1. Υπολογιστική έλλειψη ενέργειας και διαρροή εγκεφάλων Πόσο σοβαρή είναι η έλλειψη GPU στα πανεπιστήμια;

Στην πραγματικότητα, για μεγάλο χρονικό διάστημα στο παρελθόν, τα πανεπιστήμια ήταν στην πρώτη γραμμή της έρευνας για την τεχνητή νοημοσύνη.Πολλές καινοτόμες εξελίξεις έχουν γίνει από ερευνητές στα πανεπιστήμια.Για παράδειγμα, το 2015, ο Jascha Sohl-Dickstein, μεταδιδάκτορας στο Πανεπιστήμιο του Στάνφορντ, εφηύρε το πρώτο μοντέλο διάχυσης στον κόσμο, το οποίο έγινε η βάση για πολλά επόμενα μοντέλα δημιουργίας εικόνων και βίντεο.

Ενώ η βασική έρευνα στα πανεπιστήμια είναι κρίσιμη για το κύμα της τεχνολογικής καινοτομίας, η πρόσφατη γενετική έρευνα τεχνητής νοημοσύνης κυριαρχείται από ιδιωτικές εταιρείες. Αυτό συμβαίνει κυρίως επειδή έχουν πρόσβαση στην υπολογιστική ισχύ και τα δεδομένα που απαιτούνται για την κατασκευή και την εκπαίδευση μεγάλων μοντέλων όπως το ChatGPT και το Gemini.

Η γενετική έρευνα τεχνητής νοημοσύνης είναι ακριβή. Ο CEO του OpenAI, Sam Altman, έχει υπολογίσει ότι η εκπαίδευση του GPT-4 θα κόστιζε περίπου 100 εκατομμύρια δολάρια. Ο διευθύνων σύμβουλος της Meta, Mark Zuckerberg, ανακοίνωσε στις αρχές του 2024 ότι σχεδιάζει να αγοράσει 350.000 NVIDIA H100 GPU για να επεκτείνει την υπολογιστική ισχύ της Meta σε επίπεδο ισοδύναμο με 600.000 NVIDIA H100 GPU. Υπολογίστηκε με βάση την τιμή πώλησης του H100 σχεδόν 40.000 δολαρίων ΗΠΑ,Αυτή θα είναι μια μεγάλη παραγγελία δεκάδων δισεκατομμυρίων δολαρίων.

Επί του παρόντος, κανένα πανεπιστήμιο στον κόσμο δεν μπορεί να αντέξει οικονομικά αυτό το επίπεδο υποδομής υπολογιστικής ισχύος AI. Ως ισχυρό σχολείο CS, το Πανεπιστήμιο του Πρίνστον διαθέτει ένα από τα μεγαλύτερα μεμονωμένα συμπλέγματα υπολογιστικής ισχύος AI μεταξύ των αμερικανικών πανεπιστημίων.Αλλά αυτό το σύμπλεγμα έχει μόνο 300 GPU NVIDIA H100, το οποίο παρουσιάστηκε επίσημα μόλις φέτος τον Μάρτιο.

Ο Sanjeev Arora, διευθυντής του Κέντρου Γλώσσας και Νοημοσύνης στο Πανεπιστήμιο του Πρίνστον, δήλωσε σχετικά με αυτό το θέμα:Εάν δεν έχετε υπολογιστική ισχύ, δεν μπορείτε να διεξάγετε έρευνα μεγάλης κλίμακας και δεν είστε καν τα προσόντα για να συμμετάσχετε στη συζήτηση.”。

Σε μια σχετική συζήτηση στο φόρουμ του Reddit, ένας διδάκτορας από ένα από τα 5 κορυφαία εργαστήρια μηχανικής εκμάθησης στις Ηνωμένες Πολιτείες είπε ότι δεν έχουν ούτε ένα NVIDIA H100 μέχρι στιγμής.

▲Ερωτήσεις από διδακτορικούς φοιτητές από τα κορυφαία 5 εργαστήρια μηχανικής μάθησης στις Ηνωμένες Πολιτείες (Πηγή: Reddit)

Ένας διδάκτορας από την Ασία αντιμετώπισε το ίδιο δίλημμα. Οι περισσότερες από τις GPU που χρησιμοποιεί είναι καταναλωτικής ποιότητας και υπάρχουν μόνο μία ή δύο αντί για συμπλέγματα. Το σχολείο του μέχρι πρόσφατα είχε έναν διακομιστή με οκτώ H100 και είχε περιορισμένη πρόσβαση. Ο διδακτορικός φοιτητής είπε,Στις δύο εβδομάδες που είχε την τύχη να χρησιμοποιήσει την GPU H100 για εκπαίδευση, έλαβε περισσότερα δεδομένα από όσα είχε συλλέξει τους προηγούμενους έξι μήνες.

▲Ένας μαθητής που ασχολήθηκε με την έρευνα βιογραφικών στην Ασία θυμήθηκε μια σειρά από GPU που είχε χρησιμοποιήσει (Πηγή: Reddit)

Ένας άλλος μαθητής μοιράστηκε ότι το σχολείο του δεν ήταν σε θέση να παράσχει υποστήριξη υπολογιστικής ισχύος. Μπορεί να αποκτήσει μόνο 1.000 $ ΗΠΑ σε υπολογιστική ισχύ στο cloud AWS μέσω της εταιρείας πρακτικής του.Εάν χρησιμοποιείτε αυτές τις ορίων για να εκτελέσετε ένα σύμπλεγμα H100 8 μπλοκ, μπορείτε να το χρησιμοποιήσετε μόνο για 1 ημέρα. , αυτό το επίπεδο υπολογιστικής ισχύος απλά δεν μπορεί να παράγει έρευνα υψηλής ποιότητας. Είπε επίσης ότι αυτός είναι ο κανόνας για την έρευνα AI σε χώρες του τρίτου κόσμου.

▲Ένας φοιτητής μεταπτυχιακού μοιράστηκε την εμπειρία του από την απόκτηση μονάδων υπολογισμού μέσω μιας εταιρείας πρακτικής άσκησης (Πηγή: Reddit)

Ούτε οι πόροι υπολογιστικής ισχύος των ευρωπαϊκών πανεπιστημίων είναι αισιόδοξοι. Ένας μαθητής που σπουδάζει στη Γερμανία μοιράστηκε ότι είναι πολύ τυχερός επειδή το σχολείο του μπορεί επίσης να παρέχει 16 GPU A100 και δεκάδες άλλα μοντέλα GPU.Στην Ευρώπη, πολλά πανεπιστήμια και ερευνητικά εργαστήρια βασικά δεν παρέχουν υποστήριξη υπολογιστικής ισχύος.

▲Ένας Ευρωπαίος μαθητής είναι ευγνώμων για τους υπολογιστικούς πόρους που διαθέτει (Πηγή: Reddit)

Ένας άλλος φοιτητής από το Πανεπιστήμιο RWTH του Άαχεν στη Γερμανία μοιράστηκε ότι το σχολείο του διαθέτει περισσότερες από 200 GPU NVIDIA H100, κάτι που έχει τραβήξει το φθόνο πολλών χρηστών του Διαδικτύου. Ωστόσο, αυτοί οι πόροι μοιράζονται όλα τα κολέγια και επίσης με εξωτερικά ιδρύματα Εάν απαιτείται μεγαλύτερος χρόνος υπολογισμού, απαιτείται ειδική εφαρμογή.

▲Μαθητές από το Πανεπιστήμιο RWTH του Άαχεν στη Γερμανία μοιράστηκαν την υπολογιστική ισχύ του σχολείου (Πηγή: Reddit)

Οι άνθρωποι της βιομηχανίας εκπλήσσονται από την έλλειψη GPU στα κολέγια και τα πανεπιστήμια. Ένας γνώστης του κλάδου είπε ότι εργάζεται για έναν σημαντικό πάροχο υπολογιστών cloud.Καθημερινή επαφή με H100 GPU , αναπτύξτε και επιδιορθώστε το λογισμικό για αυτό. Μια άλλη πηγή του κλάδου είπε ότι οι GPU αιχμής υψηλής ζήτησης, όπως το H100, συχνά προπαραγγέλλονται σε μεγάλο βαθμό από μεγάλους εταιρικούς πελάτες προτού προστεθούν σε κέντρα δεδομένων, επομένως το H100 είναι "σπάνιο" για τους περισσότερους ερευνητές.

▲ Οι άνθρωποι του κλάδου εκπλήσσονται από την έλλειψη GPU σε κολέγια και πανεπιστήμια (Πηγή: Reddit)

Στην περίπτωση ανεπαρκών υπολογιστικών πόρων, η μακροχρόνια εκπαίδευση είναι εξαιρετικά πολυτελής. Τα συμπλέγματα υπολογιστικής ισχύος AI στα πανεπιστήμια πρέπει συχνά να εφαρμόζονται για μέρες ή και εβδομάδες νωρίτερα, ακόμη και αν χρησιμοποιούνται, ο χρόνος χρήσης είναι περιορισμένος. Πολλές μεγαλύτερες εργασίες εκπαίδευσης είναι δύσκολο να ολοκληρωθούν μέσα σε έναν μόνο κύκλο χρήσης και οι ερευνητές πρέπει επίσης να καταβάλουν επιπλέον προσπάθεια για τη δημιουργία σημείου ελέγχου και κωδικού ανάκτησης.

Η έλλειψη υπολογιστικών πόρων έχει επίσης προκαλέσει το πρόβλημα της διαρροής εγκεφάλων στα κολέγια και τα πανεπιστήμια. , όσοι μαθητές ενδιαφέρονται να κάνουν γενετική έρευνα τεχνητής νοημοσύνης στράφηκαν σε μεγάλες εταιρείες. Επειδή οι μεγάλες εταιρείες τεχνολογίας έχουν γενικά εκατοντάδες ή χιλιάδες φορές περισσότερη υπολογιστική ισχύ από τα πανεπιστήμια, αυτό είναι εξαιρετικά ελκυστικό για τα ταλέντα της τεχνητής νοημοσύνης.

2. Δημιουργία συμμαχιών υπολογιστικής ισχύος και αλλαγή κατευθύνσεων της έρευνας Τα πανεπιστήμια δεν θέλουν ούτε μπορούν να μείνουν πίσω.

Αντιμετωπίζοντας την κρίση της καθυστέρησης στην έρευνα της τεχνητής νοημοσύνης και της απώλειας ταλέντων τεχνητής νοημοσύνης, πολλά πανεπιστήμια προσπαθούν για πρόσθετη υπολογιστική ισχύ και μετατοπίζουν την ερευνητική τους εστία σε ερευνητικά πεδία τεχνητής νοημοσύνης που δεν απαιτούν υπολογιστική ενέργεια.

«Τα ακαδημαϊκά ιδρύματα προσπαθούν να αποκτήσουν υπολογιστική ισχύ», δήλωσε ο Hod Lipson, πρόεδρος του Τμήματος Μηχανολόγων Μηχανικών στο Πανεπιστήμιο της Κολούμπια.Αλλά για να εξισορροπηθούν αυτές οι δύο δυνάμεις, οι ακαδημαϊκοί, οι προγραμματιστές ανοιχτού κώδικα και άλλοι θα πρέπει επίσης να έχουν λόγο στην ανάπτυξη αυτής της τεχνολογίας.

Προκειμένου να αμβλυνθεί η έλλειψη υπολογιστικής ισχύος σε κολέγια και πανεπιστήμια, πολλά κολέγια και πανεπιστήμια έχουν εμπλέξει την κυβέρνηση στη διαδικασία κατασκευής συμπλεγμάτων υπολογιστικής ισχύος. Στις αρχές του 2024, επτά πανεπιστήμια και ερευνητικά ιδρύματα, συμπεριλαμβανομένων των Columbia University, Cornell University, New York University και Rensselaer Polytechnic Institute, ένωσαν τις δυνάμεις τους με την κυβέρνηση της Πολιτείας της Νέας Υόρκης και φιλανθρωπικές οργανώσεις για να δημιουργήσουν μια συμμαχία υπολογιστικής ισχύος που ονομάζεται Empire AI.

▲Μέλη της συμμαχίας της Empire AI (Πηγή: Επίσημος ιστότοπος Empire AI)

Αυτή η συμμαχία υπολογιστικής ισχύος έχει συγκεντρώσει σχεδόν 400 εκατομμύρια δολάρια σε χρηματοδότηση. Από αυτά τα 275 εκατομμύρια δολάρια προέρχονται από την κυβέρνηση και τα υπόλοιπα προέρχονται από τα επτά πανεπιστήμια και ερευνητικά ιδρύματα που συμμετέχουν στη συμμαχία. Θα χρησιμοποιήσουν τα κεφάλαια για να δημιουργήσουν ένα προηγμένο υπολογιστικό κέντρο τεχνητής νοημοσύνης και τα μέλη της συμμαχίας μπορούν να μοιράζονται αυτούς τους υπολογιστικούς πόρους, ενώ ταυτόχρονα μοιράζονται αποτελεσματικά το κόστος κτήσης.

Μιλώντας για το σκεπτικό για τη δημιουργία αυτής της συμμαχίας, το Γραφείο του Κυβερνήτη της Νέας Υόρκης είπε:Επί του παρόντος, οι υπολογιστικοί πόροι AI συγκεντρώνονται όλο και περισσότερο στα χέρια μεγάλων εταιρειών τεχνολογίας, οι οποίες έχουν τεράστιο έλεγχο στο οικοσύστημα ανάπτυξης της τεχνητής νοημοσύνης.Ως αποτέλεσμα, ερευνητές, μη κερδοσκοπικοί οργανισμοί και μικρές εταιρείες μένουν πίσω,Αυτό έχει τεράστιο αντίκτυπο στην ασφάλεια της τεχνητής νοημοσύνης και στην κοινωνία συνολικά.

Η ακαδημαϊκή κοινότητα και η βιομηχανία συνεργάζονται επίσης ενεργά, κάτι που είναι ήδη κοινό σε τεχνολογικούς κόμβους των ΗΠΑ όπως η Silicon Valley, το Seattle και το Austin. Ο Dan Grossman, αναπληρωτής κοσμήτορας της Σχολής Επιστήμης και Μηχανικών Υπολογιστών στο Πανεπιστήμιο της Ουάσιγκτον, είπε ότι έχουν προγράμματα που επιτρέπουν στους ακαδημαϊκούς ερευνητές να εργαστούν επίσης στη βιομηχανία. Το ακαδημαϊκό προσωπικό έχει πρόσβαση σε καλύτερους πόρους και τα πανεπιστήμια μπορούν να διατηρήσουν αυτά τα ταλέντα.

Στην πραγματικότητα, υπάρχουν πολλά σημαντικά ερευνητικά έργα τεχνητής νοημοσύνης που δεν απαιτούν υψηλή υπολογιστική ισχύ. , όπως η έρευνα επεξήγησης της τεχνητής νοημοσύνης, η έρευνα ικανότητας σχεδιασμού και συλλογιστικής τεχνητής νοημοσύνης κ.λπ. Κάτω από τους περιορισμούς της υπολογιστικής ισχύος, οι πανεπιστημιακοί ερευνητές άρχισαν να διεξάγουν πιο στοχευμένη έρευνα για να εξασφαλίσουν ότι η ακαδημαϊκή κοινότητα δεν θα ξεπεραστεί πλήρως από τη βιομηχανία.

Η Kavita Bala, κοσμήτορας της Σχολής Υπολογιστών και Επιστημών της Πληροφορίας του Πανεπιστημίου Cornell, είπε ότι τα πανεπιστήμια μπορούν να επενδύσουν λιγότερα στη δημιουργία και εκπαίδευση μεγάλων γλωσσικών μοντέλων και να εστιάσουν περισσότερο στην ανάπτυξη εφαρμογών που βασίζονται σε μεγάλα γλωσσικά μοντέλα. Τέτοιες εφαρμογές μπορούν ακόμα να είναι αιχμής και να παίζουν τεράστιο ρόλο σε μοναδικούς τομείς εφαρμογής.

Ο καθηγητής του MIT Armando Solar-Lezama, του οποίου η εργασία επικεντρώνεται στη μόχλευση της τεχνητής νοημοσύνης για την ανάπτυξη κώδικα, πιστεύει ότι η κατασκευή μεγάλων μοντέλων από την αρχή απλά δεν είναι εφικτή στον ακαδημαϊκό κόσμο. Οι μαθητές και οι ερευνητές μπορούν να επικεντρωθούν στην ανάπτυξη εφαρμογών ή ακόμα και στη δημιουργία συνθετικών δεδομένων που μπορούν να χρησιμοποιηθούν για την εκπαίδευση μεγάλων μοντέλων γλώσσας.

Ο Solar Lesama είπε ότι οι καθηγητές στο κολέγιό του ανέλαβαν επίσης την πρωτοβουλία να χρηματοδοτήσουν την αγορά διακομιστών και τσιπ, αλλά η χρηματοδότηση δεν ήταν το μόνο πρόβλημα.Ακόμα κι αν έχετε τα χρήματα, είναι δύσκολο να αποκτήσετε μια κορυφαία GPU.

Συμπέρασμα: Η έλλειψη υπολογιστικής ισχύος τεχνητής νοημοσύνης στα πανεπιστήμια συνεχίζεται και η συνεργασία μεταξύ πολλών μερών μπορεί να έχει ελπίδες να σπάσει την κατάσταση.

Υπό την τρέχουσα κατάσταση όπου οι μεγάλες εταιρείες τεχνολογίας κυριαρχούν στην έρευνα τεχνητής νοημοσύνης, η έρευνα τεχνητής νοημοσύνης στα πανεπιστήμια είναι ένα αποτελεσματικό συμπλήρωμα αυτών των μελετών. Οι ερευνητές στα πανεπιστήμια δεν θα επηρεαστούν από βραχυπρόθεσμους παράγοντες όπως οι οικονομικές εκθέσεις και η ζήτηση της αγοράς όπως οι ερευνητές εντός των εταιρειών. Εάν μπορέσουν να αποκτήσουν περισσότερους υπολογιστικούς πόρους, μπορεί να είναι σε θέση να παράγουν αποτελέσματα με σημαντικό αντίκτυπο σε τομείς στους οποίους οι εταιρείες δεν δίνουν προσοχή ή δεν είναι πρόθυμες να δώσουν προσοχή.

Στην πραγματικότητα, τις τελευταίες δεκαετίες, η τεχνητή νοημοσύνη ήταν πάντα ένα υποτιμημένο ερευνητικό πεδίο και έπρεπε να φορέσει το γιλέκο της βαθιάς μάθησης και της μηχανικής μάθησης. Αλλά ακριβώς επειδή υπάρχουν επίμονοι ερευνητές σε πανεπιστήμια όπως ο Hinton, ο Yann LeCun και ο Yoshua Bengio που επέμειναν στη σχετική έρευνα για δεκαετίες, η τρέχουσα έκρηξη της τεχνητής νοημοσύνης έχει πραγματοποιηθεί.

Εκτός από τις συμμαχίες υπολογιστικής ισχύος, όπως το Empire AI στην Πολιτεία της Νέας Υόρκης, πολλά πανεπιστήμια και ερευνητικά ιδρύματα στη Βόρεια Αμερική έχουν επίσης πραγματοποιήσει διαθεσμική συνεργασία διαφορετικών μεγεθών για την κοινή χρήση υπολογιστικών πόρων. Στα τέλη του 2023, περισσότερα από δέκα πανεπιστήμια στην Κίνα ίδρυσαν επίσης την China University Computing Power Alliance. Ίσως αυτού του είδους η συνεργασία μπορεί να φέρει ελπίδα για να σπάσει η έλλειψη υπολογιστικής ισχύος στα πανεπιστήμια.

Πηγή: Wall Street Journal, Reddit