Νέα

Ο Μασκ αρπάζει 100.000 H100 για να κατασκευάσει τον πιο ισχυρό υπερυπολογιστή AI στον κόσμο και ξεκινά η εκπαίδευση μοντέλων επόμενης γενιάς

2024-07-23

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Το Mingmin προέρχεται από τον ναό Aofei
Qubits | Δημόσιος λογαριασμός QbitAI

Ο Μασκ δημιούργησε το πιο ισχυρό σύμπλεγμα AI στον κόσμο!

Την εκρηκτική είδηση ​​ανακοίνωσε επίσημα ο ίδιος ο Λάο Μα στο Twitter.

Στις 4:20 π.μ. τοπική ώρα, το supercluster του Memphis που κατασκευάστηκε από κοινού από xAI, X και NVIDIA ξεκίνησε την εκπαίδευση.
αποτελείται αποΑποτελείται από 100.000 τεμάχια H100, είναι αυτή τη στιγμή το ισχυρότερο προπονητικό cluster στον κόσμο!



Αυτή η κλίμακα έχει ξεπεράσει κατά πολύ τον Frontier, τον πιο ισχυρό υπερυπολογιστή στον κόσμο.

Τα ιδρυτικά μέλη της xAI ακολούθησαν λέγοντας:

Όταν ιδρύσαμε αυτήν την εταιρεία πριν από ένα χρόνο, στόχος μας ήταν να επιτύχουμε τρία πλεονεκτήματα: πλεονέκτημα δεδομένων, πλεονέκτημα ταλέντου και πλεονέκτημα υπολογιστών.
Από σήμερα έχουμε και τα τρία!



Κάτω από την ανάρτηση του Μασκ, η Supermicro, η οποία έχει στενούς δεσμούς με την Nvidia και ειδικεύεται στην τεχνολογία υγρής ψύξης, έστειλε επίσης συγχαρητήρια. Ο ιδρυτής του, Charles Liang, είπε:

Είναι υπέροχο που γράφουμε ιστορία με τον Μασκ.



Παράλληλα, ο Μασκ πρόσθεσε ότι η ολοκλήρωση του cluster θα προσφέρει σημαντικά πλεονεκτήματα για την εκπαίδευση του ισχυρότερου μοντέλου στον κόσμο εντός του τρέχοντος έτους.



Σύμφωνα με προηγούμενες δηλώσεις, χρειάζονται 100.000 H100 για την εκπαίδευση του Grok-3.



△ Βολή συμπλέγματος από πάνω

Επιπλέον, τον Ιούνιο του τρέχοντος έτους, ανέφερε ότι η επένδυση 1GW ισχύος για το H100 δεν άξιζε τον κόπο. Το επόμενο καλοκαίρι, ένα σύμπλεγμα που αποτελείται από 300.000 B200 μπορεί να τεθεί σε χρήση.



Τα αυτο-χτισμένα συμπλέγματα έχουν μεγαλύτερη αυτοπεποίθηση

Τον Μάιο του τρέχοντος έτους, το The Information ανέφερε ότι ο Μασκ θα κατασκευάσει ένα σύμπλεγμα υπερυπολογιστών που θα αποτελείται από 100.000 H100 μέχρι το φθινόπωρο του 2025 και θα συνεργαστεί με την Oracle.

Αναφέρεται ότι η xAI θα επενδύσει 10 δισεκατομμύρια δολάρια για την ενοικίαση διακομιστών Oracle.

Εκείνη την εποχή, κάποιοι εξακολουθούσαν να αναρωτιούνται γιατί θα κατασκευαστεί το επόμενο έτος, αλλά εξακολουθεί να χρησιμοποιεί την τεχνολογία προηγούμενης γενιάς;

Η NVIDIA κυκλοφόρησε τα B100 και B200 με βάση τη νέα αρχιτεκτονική Blackwell, η οποία μπορεί να εκπαιδεύσει μεγάλα μοντέλα πολύ πιο αποτελεσματικά από το H100.

Κοιτάζοντάς το τώρα, μήπως η ώρα στις ειδήσεις είναι λάθος; Θα ήταν πολύ πιο λογικό αν ολοκληρωνόταν φέτος.



Μόλις πρόσφατα, ο Μασκ απάντησε στην είδηση ​​του τερματισμού της συνεργασίας με την Oracle για τη δημιουργία συμπλεγμάτων υπερυπολογιστών.

Είπε ότι η xAI έλαβε 24.000 πόρους H100 από την Oracle για την εκπαίδευση του Grok-2. Σχετικά νέα αποδεικνύουν ότι η συνεργασία ενοικίασης διακομιστή μεταξύ xAI και Oracle συνεχίζεται ακόμη.

Ωστόσο, στην κατασκευή του συμπλέγματος 100.000 καρτών H100, επιλέξαμε το αυτο-κατασκευασμένο μοντέλο και το προωθήσαμε όσο το δυνατόν γρηγορότερα Λέγεται ότι χρειάστηκαν μόνο 19 ημέρες για να εγκατασταθούν 100.000 κάρτες.

Πρέπει να πάρουμε το τιμόνι μόνοι μας.



Αργότερα νέα έδειξαν ότι η Dell και η Super Micro έγιναν οι νέοι συνεργάτες του Musk.

Ο Διευθύνων Σύμβουλος της Dell και ο Διευθύνων Σύμβουλος της Supermicro ανέβασαν πρόσφατα στο Twitter ότι η συνεργασία βρίσκεται σε εξέλιξη και συμπεριέλαβαν φωτογραφίες του κέντρου δεδομένων.



Κατά τη διαδικασία κατασκευής του cluster, ο Musk επισκέφτηκε προσωπικά την τοποθεσία.

Παράλληλα, αποκαλύφθηκε επίσης στο Twitter ότι ο Grok προπονείται στο Μέμφις και το Grok-2 θα ξεκινήσει τον Αύγουστο.



Αξίζει να αναφερθεί ότι η Oracle είχε προηγουμένως εκφράσει ανησυχίες σχετικά με την παροχή ρεύματος στην τοποθεσία όπου ιδρύθηκε το cluster.

Σύμφωνα με εκτιμήσεις, 100.000 μονάδες H100 απαιτούν 150 μεγαβάτ ισχύος που διατίθενται από το δίκτυο, αλλά ο Μασκ φαίνεται να έχει λύσει αυτό το πρόβλημα.

Τα τελευταία νέα δείχνουν ότι το τρέχον σύμπλεγμα έχει λάβει προσωρινά 8 μεγαβάτ. Μετά την υπογραφή της συμφωνίας την 1η Αυγούστου, θα ληφθούν 50 MW. Υπάρχουν τώρα 32.000 κάρτες στο διαδίκτυο και θα είναι 100% online το τέταρτο τρίμηνο - αρκετές για να υποστηρίξουν λειτουργίες εκπαίδευσης μοντέλων κλίμακας GPT-5.



Εν ολίγοις, το σίγουρο είναι ότι όλοι οι γίγαντες της τεχνητής νοημοσύνης πιστεύουν ότι είναι πιο αξιόπιστο να κρατούν την υπολογιστική ισχύ στα χέρια τους και αξίζει να ξοδέψουν τρελά χρήματα για αυτό.

Σύμφωνα με εκτιμήσεις κόστους, η τιμή κάθε H100 είναι περίπου 30.000-40.000 δολάρια ΗΠΑ. Το σύμπλεγμα υπερυπολογιστών του Μασκ θα αξίζει 4 δισεκατομμύρια δολάρια ΗΠΑ (που ισοδυναμεί με πάνω από 29 δισεκατομμύρια RMB).

Προηγούμενες ειδήσεις ανέφεραν ότι η Microsoft και το OpenAI αναπτύσσουν ένα έργο κέντρου δεδομένων 100 δισεκατομμυρίων δολαρίων που ονομάζεται "Stargate".

Σύμφωνα με άτομα που γνωρίζουν το θέμα, έχει επιτευχθεί συμφωνία μεταξύ της Oracle και της Microsoft που αφορά 100.000 B200. Το σύμπλεγμα θα μπορούσε να είναι έτοιμο μέχρι το επόμενο καλοκαίρι.

Επιπλέον, η Meta έχει επίσης εκτεθεί να διαθέτει συμπλέγματα υπερυπολογιστών πολυτελείας και οι προμηθευτές cloud όπως το AWS έχουν επίσης επενδύσει περισσότερα σε κέντρα δεδομένων.

Βιβλιογραφικές αναφορές:
[1]https://x.com/elonmusk/status/1810727394631950752
[2]https://x.com/elonmusk/status/1815325410667749760
[3]https://x.com/dylan522p/status/1815494840152662170
[4]https://x.com/MichaelDell/status/1803385185984974941