Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: Τμήμα Σύνταξης

[Εισαγωγή στη Νέα Σοφία]Η κατασκευή του υγρόψυκτου H100 100.000 τεμαχίων ξεκίνησε επίσημα και ο Μασκ δημιούργησε το ισχυρότερο εκπαιδευτικό σύμπλεγμα τεχνητής νοημοσύνης στον κόσμο σε 19 ημέρες.

Στις 4:20 το πρωί, το μεγαλύτερο εκπαιδευτικό σύμπλεγμα υπερυπολογιστών στην άλλη πλευρά του ωκεανού άρχισε να βρυχάται.

Το «420» είναι επίσης το αγαπημένο μιμίδιο του Μασκ, συμβολίζοντας την ελευθερία, την ασυγκράτητη και την αντιπαράδοση.

Ο Μασκ χρησιμοποιεί συχνά το "420" στην τιμολόγηση των προϊόντων του, στις ώρες συναντήσεων της εταιρείας και στις ώρες εκτόξευσης των αστροπλοίων κ.λπ.

Οι χρήστες του Διαδικτύου αστειεύτηκαν επίσης στην περιοχή σχολίων ότι ο Μασκ έχει εξαιρετική αίσθηση της τελετής και δεν ξεκινά τη δουλειά πριν από τις 4:20.

Στην τελευταία συνέντευξη, ο Μασκ αποκάλυψε περισσότερα για την πρόοδο των νέων υπερυπολογιστών και των μοντέλων xAI:

- Το Grok 2 ολοκλήρωσε την εκπαίδευση τον περασμένο μήνα, χρησιμοποιώντας περίπου 15K H100

- Το Grok 2 θα κυκλοφορήσει τον επόμενο μήνα, ισοδύναμο με το GPT-4 - Το Grok 3 κατασκευάζει 100.000 υγρόψυκτους υπερυπολογιστές H100 και ξεκινά την εκπαίδευση - Το Grok 3 αναμένεται να κυκλοφορήσει τον Δεκέμβριο, "Θα γίνει το πιο ισχυρό στον κόσμο με τότε "Μεγάλη Τεχνητή Νοημοσύνη"

100.000 τεμάχια υγρόψυκτου H100, ολοκληρώθηκαν σε 19 ημέρες

Αξίζει να σημειωθεί ότι το μεγαλύτερο σύμπλεγμα υπερυπολογιστών στον κόσμο έχει 100.000 H100, τα οποία είναι υγρόψυκτα.

Ποια είναι η έννοια του H100 αξίας 100.000 γιουάν;

Όσον αφορά την τιμή, το H100 GPU είναι ένα βασικό συστατικό της τεχνητής νοημοσύνης και ένα καυτό εμπόρευμα στη Silicon Valley Υπολογίζεται ότι κάθε μονάδα κοστίζει μεταξύ 30.000 και 40.000 δολαρίων ΗΠΑ.

Ένα Ph.D. από ένα από τα κορυφαία 5 πανεπιστήμια των Ηνωμένων Πολιτειών δημοσίευσε κάποτε ότι ο αριθμός των H100 στο εργαστήριο είναι 0 και οι GPU πρέπει να χρησιμοποιούνται βιαστικά.

Ο Li Feifei είπε επίσης στη συνέντευξη ότι η ομάδα επεξεργασίας φυσικής γλώσσας του Stanford έχει μόνο 64 GPU A100.

Η αρχική τιμή αγοράς του Μασκ ήταν 100.000 γιουάν, ένα νούμερο που έκανε το τμήμα σχολίων να ξεσπάσει.

Όσον αφορά την υπολογιστική ισχύ, η υπολογιστική ισχύς είναι περίπου 20 φορές μεγαλύτερη από τα 25.000 μπλοκ A100 που χρησιμοποιούνται από το OpenAI για την εκπαίδευση του GPT4.

Όσον αφορά την κατανάλωση ενέργειας, μόνο για να διατηρηθεί η λειτουργία αυτού του υπερυπολογιστικού κέντρου, η συνολική απαιτούμενη ισχύς φτάνει τα 70 MW, που ισοδυναμεί με την εγκατεστημένη ισχύ ενός συνηθισμένου σταθμού ηλεκτροπαραγωγής και μπορεί να καλύψει τις ενεργειακές ανάγκες 200.000 ατόμων.

Τον Μάιο του τρέχοντος έτους, ο Μασκ δήλωσε ότι ήλπιζε να χτίσει ένα «εργοστάσιο υπερυπολογιστών» μέχρι το φθινόπωρο του 2025.

Φαίνεται τώρα ότι για να επιταχύνει την κατασκευή του super cluster, επέλεξε να αγοράσει την τρέχουσα γενιά GPU H100 αντί να περιμένει τη νέα γενιά H200 ή άλλες επερχόμενες GPU B100 και B200 που βασίζονται στο Blackwell.

Αν και η αγορά αναμένει ότι η νέα GPU του κέντρου δεδομένων Blackwell της Nvidia θα είναι διαθέσιμη πριν από το τέλος του 2024, ο Μασκ σαφώς δεν έχει υπομονή να περιμένει.

Ο τρέχων αγώνας εξοπλισμών τεχνητής νοημοσύνης γίνεται όλο και πιο άγριος και το μόνο που έχει σημασία είναι η ταχύτητα, όποιος μπορεί να λανσάρει ένα προϊόν πιο γρήγορα, θα καταλάβει γρήγορα την αγορά.

Ως start-up εταιρεία, η xAI πρέπει να αναλάβει το προβάδισμα στη μάχη με άλλους γίγαντες.

Προηγουμένως, οι δεκάδες δισεκατομμύρια παραγγελίες του Musk και της Oracle κατέρρευσαν για την αργή ταχύτητα της Oracle και πίστευαν ότι το άλλο μέρος δεν κατασκεύαζε συμπλέγματα υπολογιστών με εφικτή ταχύτητα.

Η Oracle, από την άλλη πλευρά, θεώρησε ότι η επιλογή τοποθεσίας υπερυπολογιστών της xAI δεν μπορούσε να αντέξει τη ζήτηση ενέργειας Καθώς οι διαπραγματεύσεις για δεκάδες δισεκατομμύρια παραγγελίες κατέρρευσαν, η xAI και η Oracle σταμάτησαν να συζητούν τη δυνατότητα επέκτασης της υπάρχουσας συνεργασίας.

Η xAI δεν είχε άλλη επιλογή από το να δημιουργήσει το δικό της κέντρο δεδομένων τεχνητής νοημοσύνης στο Μέμφις του Τενεσί Η κατάρρευση της συνεργασίας με την Oracle σήμαινε ότι η xAI έπρεπε να προχωρήσει μόνη της και να δημιουργήσει ένα ανεξάρτητο κέντρο δεδομένων με 100.000 H100 για να απαλλαγεί από τους περιορισμούς του. δυνατότητες παρόχων cloud όπως η Oracle.

Ο ίδιος ο Μασκ είπε ότι το xAI έχει το ισχυρότερο εκπαιδευτικό σύμπλεγμα τεχνητής νοημοσύνης στον κόσμο, το οποίο είναι πολύ μπροστά.

Το ισχυρότερο Grok-3 στον κόσμο ξεκινά την εκπαίδευση και θα κυκλοφορήσει μέχρι το τέλος του έτους

Στην τελευταία συνέντευξη του Μασκ, αποκάλυψε κάποιες λεπτομέρειες σχετικά με την κατασκευή ενός υπερυπολογιστή.

Σύμφωνα με τον Ted Townsend, πρόεδρο του Greater Memphis Chamber, ο Musk χρειάστηκε μόνο μια εβδομάδα για να αποφασίσει να κατασκευάσει τον νέο υπερυπολογιστή της xAI στο Μέμφις.

Μετά από αρκετές ημέρες έντονων διαπραγματεύσεων τον Μάρτιο, ο Μασκ και η ομάδα του επέλεξαν την πόλη του Τενεσί λόγω της άφθονης δύναμης και της ικανότητάς της να χτίζει γρήγορα, είπε ο Τάουνσεντ.

Επιπλέον, χρειάστηκαν μόνο 19 ημέρες για την κατασκευή του υπερυπολογιστικού κέντρου, ο Μασκ εξήρε επίσης την εξαιρετική δουλειά της ομάδας σε ένα tweet.

Η Supermicro παρέχει επίσης το μεγαλύτερο μέρος της υποστήριξης υλικού για το xAI και ο διευθύνων σύμβουλός της Τσαρλς Λιάνγκ σχολίασε επίσης το tweet του Μασκ, επαινώντας τις δυνατότητες εκτέλεσης της ομάδας.

Ο σκοπός ενός τόσο μεγάλου εκπαιδευτικού συμπλέγματος είναι να εκπαιδεύσει το Grok 3.

Στις αρχές αυτού του μήνα, ο Musk ανακοίνωσε την κυκλοφορία του Grok 2 στα τέλη Αυγούστου, ενώ το Grok-2 δεν έχει ακόμη κυκλοφορήσει, ο Musk αποκάλυψε επίσης ορισμένες λεπτομέρειες του Grok-3 για να δημιουργήσει δυναμική για το πιο ισχυρό μοντέλο, το Grok 3. .

Σε μια συνέντευξη με τον Nicolai Tangen, επικεφαλής του Norwegian Sovereign Fund, ο Musk είπε τον Απρίλιο του τρέχοντος έτους ότι το Grok 2 θα απαιτούσε περίπου 20.000 H100 για εκπαίδευση.

Το Grok 3 θα κυκλοφορήσει στο τέλος του έτους Είναι προβλέψιμο ότι η απόδοση του Grok 3 με βάση την εκπαίδευση 100.000 GPU θα είναι υψηλότερη από το Grok 2.

Ένα τέτοιο τεράστιο κέντρο υπερυπολογιστών απαιτεί φυσικά την υποστήριξη ενός μεγάλου αριθμού ταλέντων και τεχνολογίας, επίσης, ο Μασκ συνεχίζει να στρατολογεί ανθρώπους στο Twitter για να επεκτείνει τα πλεονεκτήματα των δεδομένων, του ταλέντου και της υπολογιστικής ισχύος.

Βιβλιογραφικές αναφορές:

https://x.com/elonmusk/status/1815325410667749760

https://x.com/tsarnick/status/1815493761486708993