Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Το άρθρο ανατυπώνεται στο Xinzhiyuan

Προκειμένου να εκπαιδεύσει το ισχυρότερο Grok 3, η xAI ξόδεψε 19 ημέρες κατασκευάζοντας το μεγαλύτερο σύμπλεγμα υπερυπολογιστών στον κόσμο που αποτελείται από 100.000 H100.

Όσον αφορά την εκπαίδευση των ρομπότ FSD και Optimus Prime, ο Μασκ επίσης δεν γλίτωσε έξοδα και επένδυσε πολλούς υπολογιστικούς πόρους.

Το Supercomputing Dojo είναι ο ακρογωνιαίος λίθος της Tesla AI και είναι ειδικά κατασκευασμένος για την εκπαίδευση νευρωνικών δικτύων FSD.

Μόλις σήμερα, επισκέφτηκε το σύμπλεγμα υπερυπολογιστών της Tesla στο Texas Super Factory (Cortex).

Ο Μασκ είπε: «Αυτό θα είναι ένα σύστημα με περίπου 100.000 GPU H100/H200 και εξοπλισμένο με μεγάλης κλίμακας αποθηκευτικό χώρο για εκπαίδευση βίντεο πλήρως αυτόνομης οδήγησης (FSD) και ρομπότ Optimus».

Όχι μόνο ότι, εκτός από τις GPU της NVIDIA, αυτό το σύμπλεγμα υπερυπολογιστών είναι επίσης εξοπλισμένο με συστήματα Tesla HW4, AI5 και Dojo.

Θα τροφοδοτούνται και θα ψύχονται από ένα μεγάλο σύστημα ισχύος έως 500 μεγαβάτ.

Στην ημέρα Tesla AI το 2021, ο Musk ανακοίνωσε το Dojo για πρώτη φορά.

Τώρα έχουν περάσει τρία χρόνια, πώς πάει η κατασκευή του Dojo;

1

8.000 H100 ισοδύναμη υπολογιστική ισχύς, διπλασιάστε το στοίχημά σας

Πριν από μισό μήνα, οι χρήστες του Διαδικτύου ισχυρίστηκαν ότι η Tesla θα είχε υπολογιστική ισχύ εκπαίδευσης AI έως το τέλος του 2024, ισοδύναμη με την απόδοση ενός H100 αξίας 90.000 γιουάν.

Ο Μασκ πρόσθεσε κάτι σε αυτό:

Δεν χρησιμοποιούμε μόνο GPU της NVIDIA αλλά και τον δικό μας υπολογιστή AI - Tesla HW4 AI (μετονομάστηκε σε AI4) στο σύστημα εκπαίδευσης AI, με αναλογία περίπου 1:2. Αυτό σημαίνει ότι υπάρχουν περίπου 90.000 H100, συν περίπου 40.000 υπολογιστές AI4.

Ανέφερε επίσης ότι μέχρι το τέλος του τρέχοντος έτους, το Dojo 1 θα έχει περίπου 8.000 ισοδύναμη υπολογιστική ισχύ H100. Αυτή η κλίμακα δεν είναι τεράστια, αλλά ούτε και μικρή.

Σύμπλεγμα υπερυπολογιστών Dojo D1

Μάλιστα, τον περασμένο Ιούνιο, ο Μασκ αποκάλυψε ότι το Dojo ήταν online και εκτελούσε χρήσιμες εργασίες για αρκετούς μήνες.

Αυτό ήδη σημαίνει ότι ο Dojo έχει συμμετάσχει στην εκπαίδευση για ορισμένες εργασίες.

Πρόσφατα, στο συνέδριο κερδών της Tesla, ο Musk είπε ότι η Tesla ετοιμάζεται να λανσάρει αυτόνομα ταξί τον Οκτώβριο και η ομάδα AI θα «διπλασιάσει τις επενδύσεις» στο Dojo.

Η συνολική υπολογιστική ισχύς του Dojo αναμένεται να φτάσει τα 100 exaflops τον Οκτώβριο του 2024.

Αν υποθέσουμε ότι ένα τσιπ D1 μπορεί να επιτύχει 362 teraflops, για να φτάσει τα 100 exaflops, η Tesla θα χρειαζόταν περισσότερα από 276.000 τσιπ D1 ή περισσότερες από 320.000 Nvidia A100 GPU.

1

50 δισεκατομμύρια τρανζίστορ, το D1 έχει τεθεί σε παραγωγή

Στο Tesla AI Day το 2021, το τσιπ D1 αποκαλύφθηκε για πρώτη φορά. Διαθέτει 50 δισεκατομμύρια τρανζίστορ και έχει μέγεθος μόνο μια παλάμη.

Έχει ισχυρή και αποτελεσματική απόδοση και μπορεί να χειριστεί γρήγορα διάφορες σύνθετες εργασίες.

Τον Μάιο του τρέχοντος έτους, το τσιπ D1 ξεκίνησε την παραγωγή, χρησιμοποιώντας τον κόμβο διαδικασίας 7nm της TSMC.

Ο Ganesh Venkataramanan, πρώην ανώτερος διευθυντής υλικού στο Autopilot, είπε κάποτε: "Το D1 μπορεί να εκτελεί υπολογισμούς και μετάδοση δεδομένων ταυτόχρονα, υιοθετεί μια προσαρμοσμένη αρχιτεκτονική συνόλου εντολών ISA και είναι πλήρως βελτιστοποιημένη για φόρτους εργασίας μηχανικής εκμάθησης".

Αυτό είναι ένα καθαρό τσιπ μηχανικής εκμάθησης.

Παρόλα αυτά, η D1 εξακολουθεί να μην είναι τόσο ισχυρή όσο η Nvidia A100, η ​​οποία επίσης κατασκευάζεται χρησιμοποιώντας τη διαδικασία 7nm της TSMC.

Το D1 τοποθετεί 50 δισεκατομμύρια τρανζίστορ σε ένα τσιπ 645 τετραγωνικών χιλιοστών, ενώ το A100 περιέχει 54 δισεκατομμύρια τρανζίστορ, έχει μέγεθος τσιπ 826 τετραγωνικά χιλιοστά και είναι μπροστά από το D1 σε απόδοση.

Προκειμένου να αποκτήσει υψηλότερο εύρος ζώνης και υπολογιστική ισχύ, η ομάδα AI της Tesla ενσωμάτωσε 25 τσιπ D1 σε ένα πλακίδιο και το λειτούργησε ως ενοποιημένο σύστημα υπολογιστή.

Κάθε πλακίδιο έχει υπολογιστική ισχύ 9 petaflops, 36 terabyte ανά δευτερόλεπτο εύρους ζώνης και περιλαμβάνει υλικό τροφοδοσίας, ψύξης και μεταφοράς δεδομένων.

Μπορούμε να σκεφτούμε ένα μόνο πλακίδιο ως έναν αυτάρκη υπολογιστή που αποτελείται από 25 μικροϋπολογιστές.

Χρησιμοποιώντας την τεχνολογία διασύνδεσης σε επίπεδο πλακέτας InFO_SoW (Integrated Fan-Out, System-on-Wafer), 25 τσιπ D1 στην ίδια γκοφρέτα μπορούν να επιτύχουν συνδέσεις υψηλής απόδοσης και να λειτουργήσουν σαν ένας μόνο επεξεργαστής.

Έξι τέτοια πλακάκια σχηματίζουν ένα ράφι και δύο ράφια σχηματίζουν ένα ντουλάπι.

Δέκα ντουλάπια αποτελούν ένα ExaPOD.

Στην Ημέρα AI 2022, η Tesla είπε ότι το Dojo θα κλιμακωθεί αναπτύσσοντας πολλαπλά ExaPOD. Όλα αυτά μαζί συνθέτουν έναν υπερυπολογιστή.

Οι επεξεργαστές κλίμακας Wafer, όπως το Dojo της Tesla και η μηχανή Wafer-Scale Engine WSE της Cerebras, είναι πολύ πιο αποδοτικοί στην απόδοση από τους πολυεπεξεργαστές.

Τα βασικά πλεονεκτήματα του πρώτου περιλαμβάνουν επικοινωνία υψηλού εύρους ζώνης και χαμηλής καθυστέρησης μεταξύ πυρήνων, χαμηλότερη αντίσταση δικτύου και μεγαλύτερη ενεργειακή απόδοση.

Προς το παρόν, μόνο η Tesla και η Cerebra έχουν σχέδια συστήματος-on-wafer.

Ωστόσο, η συναρμολόγηση 25 τσιπ θέτει προκλήσεις τάσης και συστήματα ψύξης.

Οι χρήστες του Διαδικτύου φωτογράφισαν την Tesla να κατασκευάζει ένα γιγάντιο σύστημα ψύξης στο Τέξας

Μια εγγενής πρόκληση με τα τσιπ σε επίπεδο wafer είναι ότι πρέπει να χρησιμοποιούν μνήμη στο τσιπ, η οποία δεν είναι αρκετά ευέλικτη και μπορεί να μην είναι κατάλληλη για όλους τους τύπους εφαρμογών.

Το Tom's Hardware προβλέπει ότι η τεχνολογία επόμενης γενιάς μπορεί να είναι η CoW_SoW (Chip-on-Wafer), η οποία εκτελεί τρισδιάστατη στοίβαξη σε πλακίδια και ενσωματώνει τη μνήμη HBM4.

Επιπλέον, η Tesla αναπτύσσει επίσης το τσιπ D2 επόμενης γενιάς προκειμένου να λύσει το πρόβλημα της ροής πληροφοριών.

Αντί να συνδέει μεμονωμένα τσιπ, το D2 τοποθετεί ολόκληρο το πλακίδιο Dojo σε μια γκοφρέτα πυριτίου.

Έως το 2027, η TSMC αναμένεται να παρέχει πιο σύνθετα συστήματα σε επίπεδο πλακιδίων και η υπολογιστική ισχύς αναμένεται να αυξηθεί περισσότερο από 40 φορές.

Από την κυκλοφορία του D1, η Tesla δεν έχει αποκαλύψει την κατάσταση παραγγελίας των τσιπ D1 που έχει παραγγείλει ή αναμένεται να λάβει, ούτε το συγκεκριμένο πρόγραμμα ανάπτυξης του υπερυπολογιστή Dojo.

Ωστόσο, τον Ιούνιο του τρέχοντος έτους, ο Musk είπε ότι τους επόμενους 18 μήνες, το μισό υλικό Tesla AI θα αναπτυχθεί και το άλλο μισό θα είναι Nvidia/άλλο υλικό.

Άλλο υλικό, πιθανώς AMD.

1

Γιατί χρειάζεται το Dojo

Η αυτόνομη οδήγηση καταναλώνει υπολογιστική ισχύ

Κατά την εντύπωσή μας, η κύρια δραστηριότητα της Tesla περιορίζεται στην παραγωγή ηλεκτρικών οχημάτων, με ορισμένα επιπλέον ηλιακά πάνελ και συστήματα αποθήκευσης ενέργειας.

Όμως ο Μασκ περιμένει πολύ περισσότερα από την Tesla.

Τα περισσότερα συστήματα αυτόματης οδήγησης, όπως η Waymo, θυγατρική της μητρικής εταιρείας Google, Alphabet, εξακολουθούν να βασίζονται σε παραδοσιακούς αισθητήρες ως είσοδο, όπως ραντάρ, lidar και κάμερες.

Αλλά η Tesla ακολουθεί μια διαδρομή "πλήρους όρασης" Βασίζονται μόνο σε κάμερες για τη λήψη οπτικών δεδομένων, τη συμπλήρωσή τους με χάρτες υψηλής ευκρίνειας για τον εντοπισμό θέσης και στη συνέχεια χρησιμοποιούν νευρωνικά δίκτυα για την επεξεργασία των δεδομένων για τη λήψη γρήγορων αποφάσεων σχετικά με την αυτόνομη οδήγηση.

Διαισθητικά, είναι προφανές ότι το πρώτο είναι ένα πιο απλό και γρήγορο μονοπάτι, και αυτό είναι πράγματι έτσι.

Η Waymo έχει κυκλοφορήσει στο εμπόριο την αυτόνομη οδήγηση L4, το οποίο είναι ένα σύστημα που μπορεί να οδηγεί μόνο του χωρίς ανθρώπινη παρέμβαση υπό ορισμένες συνθήκες όπως ορίζονται από το SAE. Αλλά το νευρωνικό δίκτυο FSD (Full Self-Driving) της Tesla εξακολουθεί να μην μπορεί να διαχωριστεί από την ανθρώπινη λειτουργία.

Ο Andrej Karpathy, ο οποίος κάποτε υπηρέτησε ως επικεφαλής της τεχνητής νοημοσύνης στην Tesla, είπε ότι η εφαρμογή του FSD είναι βασικά «χτίζοντας ένα τεχνητό ζώο από την αρχή».

Μπορούμε να το σκεφτούμε ως ένα ψηφιακό αντίγραφο του ανθρώπινου οπτικού φλοιού και των λειτουργιών του εγκεφάλου. Το FSD όχι μόνο χρειάζεται να συλλέγει και να επεξεργάζεται συνεχώς οπτικά δεδομένα, να αναγνωρίζει και να ταξινομεί αντικείμενα γύρω από το όχημα, αλλά πρέπει επίσης να έχει ταχύτητα λήψης αποφάσεων συγκρίσιμη με αυτή των ανθρώπων.

Μπορεί να φανεί ότι ο Musk θέλει κάτι περισσότερο από ένα κερδοφόρο σύστημα αυτόνομης οδήγησης. Στόχος του είναι να δημιουργήσει μια νέα νοημοσύνη.

Αλλά ευτυχώς, δεν χρειάζεται να ανησυχεί για ανεπαρκή δεδομένα. Περίπου 1,8 εκατομμύρια άνθρωποι πληρώνουν επί του παρόντος τη συνδρομή των 8.000 $ για το FSD (προηγουμένως θα μπορούσε να ήταν 15.000 $), πράγμα που σημαίνει ότι η Tesla μπορεί να συλλέξει εκατομμύρια μίλια βίντεο οδήγησης για εκπαίδευση.

Όσον αφορά την υπολογιστική ισχύ, ο υπερυπολογιστής Dojo είναι το έδαφος εκπαίδευσης για το FSD. Το κινέζικο όνομά του μπορεί να μεταφραστεί ως "dojo", ένα νεύμα στον χώρο εξάσκησης των πολεμικών τεχνών.

Η NVIDIA δεν είναι αρκετά καλή

Πόσο δημοφιλείς είναι οι GPU της NVIDIA; Δείτε μόνο πόσο θέλουν οι CEO των μεγάλων τεχνολογικών κολοσσών να έρθουν κοντά στους παλιούς γκάνγκστερ.

Ακόμη και τόσο πλούσιος όσο ο Μασκ, παραδέχτηκε κατά τη διάρκεια της κλήσης για τα κέρδη του Ιουλίου ότι ήταν «πολύ ανήσυχος» ότι η Tesla μπορεί να μην μπορεί να χρησιμοποιήσει αρκετές GPU της Nvidia.

"Αυτό που βλέπουμε είναι ότι η ζήτηση για υλικό Nvidia είναι τόσο υψηλή που είναι συχνά δύσκολο να αποκτήσουμε GPU."

Προς το παρόν, η Tesla φαίνεται να εξακολουθεί να χρησιμοποιεί το υλικό της Nvidia για να παρέχει υπολογιστική ισχύ για το Dojo, αλλά ο Μασκ φαίνεται να μην θέλει να βάλει όλα τα αυγά του σε ένα καλάθι.

Ειδικά αν σκεφτεί κανείς ότι το premium των τσιπ της Nvidia είναι τόσο υψηλό και η απόδοση δεν είναι απόλυτα ικανοποιητική για τον Musk.

Όσον αφορά τη συνέργεια υλικού και λογισμικού, η Tesla και η Apple έχουν παρόμοιες απόψεις, δηλαδή, θα πρέπει να επιτευχθεί υψηλός βαθμός συνέργειας μεταξύ των δύο, ειδικά για ένα εξαιρετικά εξειδικευμένο σύστημα όπως το FSD, το οποίο θα πρέπει να απαλλαγεί από εξαιρετικά τυποποιημένες GPU και να χρησιμοποιήσει προσαρμοσμένο υλικό.

Ο πυρήνας αυτού του οράματος είναι το ιδιόκτητο τσιπ D1 της Tesla, το οποίο θα κυκλοφορήσει το 2021 και θα παραχθεί από την TSMC τον Μάιο του τρέχοντος έτους.

Επιπλέον, η Tesla αναπτύσσει επίσης το τσιπ D2 επόμενης γενιάς, ελπίζοντας να τοποθετήσει ολόκληρο το μπλοκ Dojo σε ένα μόνο τσιπ πυριτίου για να λύσει το πρόβλημα της ροής πληροφοριών.

Στην έκθεση κερδών του δεύτερου τριμήνου, ο Μασκ σημείωσε ότι είδε «έναν άλλο τρόπο να ανταγωνιστεί τη Nvidia μέσω του Dojo».

1

Μπορεί το Dojo να πετύχει;

Ακόμα κι αν είναι τόσο σίγουρος όσο ο Μασκ, όταν μιλάει για το Dojo, θα διστάσει να πει ότι η Tesla μπορεί να μην τα καταφέρει.

Μακροπρόθεσμα, η ανάπτυξη του δικού του υλικού υπερυπολογιστών θα μπορούσε να ανοίξει νέα επιχειρηματικά μοντέλα για τον τομέα της τεχνητής νοημοσύνης.

Ο Μασκ είπε ότι η πρώτη έκδοση του Dojo θα είναι προσαρμοσμένη για τον σχολιασμό και την εκπαίδευση οπτικών δεδομένων της Tesla, κάτι που θα είναι πολύ χρήσιμο για την FSD και την εκπαίδευση του ανθρωποειδούς ρομπότ Optimus της Tesla.

Οι μελλοντικές εκδόσεις θα είναι πιο κατάλληλες για γενική εκπαίδευση AI, αλλά αυτό θα περιλαμβάνει αναπόφευκτα το λογισμικό της τάφρου της Nvidia.

Σχεδόν όλο το λογισμικό τεχνητής νοημοσύνης έχει σχεδιαστεί για να λειτουργεί με GPU της NVIDIA και η χρήση του Dojo σημαίνει επανεγγραφή ολόκληρου του οικοσυστήματος AI, συμπεριλαμβανομένων των CUDA και PyTorch.

Αυτό σημαίνει ότι το Dojo έχει σχεδόν μόνο μία διέξοδο - να νοικιάσει υπολογιστική ισχύ και να δημιουργήσει μια πλατφόρμα υπολογιστικού νέφους παρόμοια με το AWS και το Azure.

Η Morgan Stanley προέβλεψε σε έκθεσή της τον περασμένο Σεπτέμβριο ότι η Dojo θα μπορούσε να ξεκλειδώσει νέες ροές εσόδων με τη μορφή robotaxi και υπηρεσιών λογισμικού, προσθέτοντας 500 δισεκατομμύρια δολάρια στην αγοραία αξία της Tesla.

Εν ολίγοις, κρίνοντας από την τρέχουσα προσεκτική κατανομή υλικού από τον Musk, το Dojo δεν είναι μια «απελπισμένη κίνηση» αλλά περισσότερο σαν διπλή ασφάλιση. Αλλά μόλις πετύχει, μπορούν επίσης να αποδεσμευτούν τεράστια μερίσματα.

Βιβλιογραφικές αναφορές:

https://techcrunch.com/2024/08/03/tesla-dojo-elon-musks-big-plan-to-build-an-ai-supercomputer-explained/

https://www.tomshardware.com/tech-industry/teslas-dojo-system-on-wafer-is-in-production-a-serious-processor-for-serious-ai-workloads

Κάντε κλικ στο "" και πάμε