Από τότεChatGPTΜετά την έκρηξη, η έρευνα και η ανάπτυξη μεγάλων μοντέλων τεχνητής νοημοσύνης εμφανίστηκαν το ένα μετά το άλλο Ενώ αυτός ο «πόλεμος 100 τρόπων» βρισκόταν σε πλήρη εξέλιξη, η αμερικανική εταιρεία τσιπ NVIDIA κέρδισε πολλά χρήματα με την εξαιρετική απόδοση της GPU στους υπολογισμούς μεγάλων μοντέλων. .

Ωστόσο, μια πρόσφατη κίνηση της Apple μείωσε ελαφρώς τον ενθουσιασμό της Nvidia.

01

Εκπαίδευση μοντέλου AI, η Apple επιλέγει TPU αντί για GPU

Η NVIDIA ήταν πάντα ο ηγέτης στον τομέα της υπολογιστικής υποδομής AI Στην αγορά υλικού AI, ειδικά στον τομέα της εκπαίδευσης με τεχνητή νοημοσύνη, το μερίδιο αγοράς της NVIDIA ήταν πάντα ηγέτιδα στην Amazon, στη Microsoft , Meta,OpenAI Είναι η προτιμώμενη λύση υπολογιστικής ισχύος για πολλούς τεχνολογικούς γίγαντες στον τομέα της τεχνητής νοημοσύνης και της μηχανικής μάθησης.

Ως εκ τούτου, η Nvidia συνεχίζει να αντιμετωπίζει διάφορες προκλήσεις στον κλάδο Μεταξύ των ανταγωνιστών της, υπάρχουν πολλοί ισχυροί παίκτες στην ανεξάρτητη έρευνα και ανάπτυξη των GPU, καθώς και πρωτοπόροι στην εξερεύνηση καινοτόμων αρχιτεκτονικών. Το TPU της Google έχει γίνει επίσης ένας ισχυρός αντίπαλος που η Nvidia δεν μπορεί να αγνοήσει λόγω των μοναδικών πλεονεκτημάτων της.

Στις 30 Ιουλίου, η Apple κυκλοφόρησε μια ερευνητική εργασία. Στο έγγραφο, η Apple παρουσίασε δύο μοντέλα που παρέχουν υποστήριξη για Apple Intelligence-AFM-on-device (AFM είναι η συντομογραφία του Apple Basic Model) και AFM-server (ένα μεγάλο μοντέλο γλώσσας που βασίζεται σε διακομιστή). μοντέλο γλώσσας 100 εκατομμυρίων ετών, το τελευταίο είναι ένα μοντέλο γλώσσας που βασίζεται σε διακομιστή.

Η Apple ανέφερε στην εφημερίδα ότι για να εκπαιδεύσει το μοντέλο τεχνητής νοημοσύνης της, χρησιμοποίησε δύο τύπους επεξεργαστών tensor (TPU) από την Google και αυτές οι μονάδες οργανώθηκαν σε μεγάλα συμπλέγματα chip. Για να δημιουργήσει AFM-on-device, ένα μοντέλο AI που μπορεί να τρέχει σε iPhone και άλλες συσκευές, η Apple χρησιμοποιεί τσιπ 2048 TPUv5p. Για τον διακομιστή AFM-διακομιστή με μοντέλο AI, η Apple ανέπτυξε 8192 επεξεργαστές TPUv4.

Η στρατηγική επιλογή της Apple να εγκαταλείψει τις GPU της Nvidia και να μεταβεί σε TPU της Google έριξε μια βόμβα σοκ στον κόσμο της τεχνολογίας η τιμή της μετοχής της Nvidia μειώθηκε κατά περισσότερο από 7% εκείνη την ημέρα, τη μεγαλύτερη πτώση σε τρεις μήνες και η αγοραία της αξία εξατμίστηκε κατά 193 δισεκατομμύρια δολάρια.

Οι εμπιστευτικοί του κλάδου είπαν ότι η απόφαση της Apple δείχνει ότι ορισμένες μεγάλες εταιρείες τεχνολογίας μπορεί να αναζητούν εναλλακτικές λύσεις για τις μονάδες επεξεργασίας γραφικών της Nvidia όσον αφορά την εκπαίδευση τεχνητής νοημοσύνης.

02

TPU VS GPU, ποια είναι πιο κατάλληλη για μεγάλα μοντέλα;

Προτού συζητήσουμε εάν η TPU ή η GPU είναι πιο κατάλληλη για μεγάλα μοντέλα, πρέπει να έχουμε μια προκαταρκτική κατανόηση των δύο.

Σύγκριση μεταξύ TPU και GPU

Το TPU, το πλήρες όνομα του Tensor Processing Unit, είναι ένα ειδικό τσιπ που σχεδιάστηκε από την Google για την επιτάχυνση του φόρτου εργασίας μηχανικής εκμάθησης. Χρησιμοποιείται κυρίως για την εκπαίδευση και τη λογική μοντέλων βαθιάς μάθησης. Αξίζει να σημειωθεί ότι το TPU ανήκει επίσης σε μια κατηγορία τσιπ ASIC και το ASIC είναι ένα τσιπ ειδικά προσαρμοσμένο για συγκεκριμένες συγκεκριμένες ανάγκες.

Όλοι είναι εξοικειωμένοι με την GPU, η οποία είναι ένας επεξεργαστής που αρχικά σχεδιάστηκε για απόδοση γραφικών και αργότερα χρησιμοποιήθηκε ευρέως σε παράλληλους υπολογιστές και βαθιά εκμάθηση. Διαθέτει ισχυρές δυνατότητες παράλληλης επεξεργασίας και η βελτιστοποιημένη GPU είναι επίσης πολύ κατάλληλη για παράλληλες εργασίες όπως η βαθιά εκμάθηση και ο επιστημονικός υπολογισμός.

Μπορεί να φανεί ότι αυτά τα δύο διαφορετικά τσιπ έχουν διαφορετικούς στόχους στον αρχικό τους σχεδιασμό.

Σε σύγκριση με τις παραδοσιακές CPU, οι παράλληλες υπολογιστικές δυνατότητες των GPU τις καθιστούν ιδιαίτερα κατάλληλες για την επεξεργασία συνόλων δεδομένων μεγάλης κλίμακας και πολύπλοκων εργασιών υπολογιστών, επομένως, με την έκρηξη μεγάλων μοντέλων τεχνητής νοημοσύνης τα τελευταία χρόνια, οι GPU έγιναν κάποτε η πρώτη επιλογή υπολογιστικού υλικού. Εκπαίδευση AI.

Ωστόσο, με τη συνεχή ανάπτυξη μεγάλων μοντέλων τεχνητής νοημοσύνης, οι υπολογιστικές εργασίες γίνονται εκθετικά μεγαλύτερες και πιο περίπλοκες, γεγονός που θέτει νέες απαιτήσεις για υπολογιστική ισχύ και υπολογιστικούς πόρους Όταν η GPU χρησιμοποιείται για υπολογιστές τεχνητής νοημοσύνης, ο ρυθμός χρήσης της υπολογιστικής ισχύος είναι χαμηλός Η υψηλή ενεργειακή συμφόρηση της κατανάλωσης ενέργειας, καθώς και η υψηλή τιμή και η περιορισμένη προσφορά προϊόντων NVIDIA GPU, έχουν προσελκύσει περισσότερο την προσοχή στην αρχιτεκτονική TPU, η οποία σχεδιάστηκε αρχικά για βαθιά μάθηση και μηχανική μάθηση. Η κυριαρχία της GPU σε αυτόν τον τομέα αρχίζει να αντιμετωπίζει προκλήσεις.

Αναφέρεται ότι η Google άρχισε να αναπτύσσει εσωτερικά τσιπ αφιερωμένα σε αλγόριθμους μηχανικής μάθησης AI ήδη από το 2013 και μόλις το 2016 αυτό το τσιπ που αναπτύχθηκε από μόνη της που ονομάζεται TPU δημοσιοποιήθηκε επίσημα. Νίκησε τον Lee Sedol τον Μάρτιο του 2016 και τον Ke Jie τον Μάιο του 2017 AlphaGo, το οποίο εκπαιδεύεται χρησιμοποιώντας τα τσιπ της σειράς TPU της Google.

Αν ειπωθεί ότι το TPU είναι πιο κατάλληλο για εκπαίδευση μεγάλων μοντέλων με τεχνητή νοημοσύνη, ίσως είναι δύσκολο να πείσεις τους πάντες χωρίς να εξηγήσεις λεπτομερώς τις «δεξιότητες» του.

Πώς είναι το TPU κατάλληλο για εκπαίδευση μεγάλων μοντέλων;

Πρώτον, το TPU διαθέτει πολυδιάστατες υπολογιστικές μονάδες για τη βελτίωση της υπολογιστικής απόδοσης.Σε σύγκριση με τη μονάδα βαθμωτών υπολογιστών στη CPU και τη μονάδα υπολογισμού διανυσμάτων στη GPU, η TPU χρησιμοποιεί υπολογιστικές μονάδες δύο διαστάσεων ή ακόμη και υψηλότερων διαστάσεων για την ολοκλήρωση υπολογιστικών εργασιών και επεκτείνει τον βρόχο λειτουργίας συνέλιξης για να επιτύχει μέγιστη επαναχρησιμοποίηση δεδομένων και να μειώσει τα δεδομένα κόστος μετάδοσης και βελτίωση της απόδοσης της επιτάχυνσης.

Δεύτερον, το TPU έχει μεγαλύτερη μετάδοση δεδομένων που εξοικονομεί χρόνο και μονάδα ελέγχου υψηλής απόδοσης.Το πρόβλημα του τοίχου μνήμης που προκαλείται από την αρχιτεκτονική von Neumann είναι ιδιαίτερα εμφανές στις εργασίες βαθιάς μάθησης και η TPU υιοθετεί μια πιο ριζική στρατηγική για να σχεδιάσει τη μετάδοση δεδομένων και η μονάδα ελέγχου είναι μικρότερη, αφήνοντας περισσότερο χώρο για τη μνήμη στο τσιπ και τις υπολογιστικές μονάδες.

Τέλος, το TPU έχει σχεδιαστεί για να επιταχύνει την τεχνητή νοημοσύνη και να ενισχύει τις υπολογιστικές ικανότητες AI/ML.Με ακριβή τοποθέτηση, απλή αρχιτεκτονική, έλεγχο ενός νήματος και προσαρμοσμένο σετ εντολών, η αρχιτεκτονική TPU είναι εξαιρετικά αποτελεσματική σε λειτουργίες βαθιάς εκμάθησης και εύκολη στην επέκταση, καθιστώντας την πιο κατάλληλη για υπολογισμούς εκπαίδευσης τεχνητής νοημοσύνης εξαιρετικά μεγάλης κλίμακας.

Αναφέρεται ότι το Google TPUv4 έχει 1,3-1,9 φορές χαμηλότερη κατανάλωση ενέργειας από το NVIDIA A100 Σε διάφορα μοντέλα εργασίας, όπως το Bert και το ResNet, η απόδοση είναι 1,2-1,9 φορές υψηλότερη από το A100 μπορεί να επιτύχει 1,3-1,9 φορές χαμηλότερη κατανάλωση ενέργειας από το NVIDIA A100 Περαιτέρω βελτίωση της απόδοσης του υπολογιστή κατά 2 φορές/σχεδόν 10 φορές. Μπορεί να φανεί ότι τα προϊόντα Google TPU έχουν περισσότερα πλεονεκτήματα στο κόστος και την κατανάλωση ενέργειας από τα προϊόντα NVIDIA.

Στο συνέδριο προγραμματιστών I/O 2024 τον Μάιο του τρέχοντος έτους, ο CEO της Alphabet, Sundar Pichai, ανακοίνωσε το κέντρο δεδομένων έκτης γενιάς AI chip Tensor Processor Unit (TPU)-Trillium, λέγοντας ότι το προϊόν είναι σχεδόν πέντε φορές πιο γρήγορο από τον προκάτοχό του και λέει ότι οι παραδόσεις θα είναι διαθέσιμες αργότερα φέτος.

Η Google είπε ότι η υπολογιστική απόδοση του τσιπ Trillium έκτης γενιάς είναι 4,7 φορές υψηλότερη από αυτή του τσιπ TPU v5e και η ενεργειακή απόδοση είναι 67% υψηλότερη από το v5e. Το τσιπ έχει σχεδιαστεί για να τροφοδοτεί την τεχνολογία που δημιουργεί κείμενο και άλλο περιεχόμενο από μεγάλα μοντέλα. Η Google είπε επίσης ότι τα τσιπ Trillium έκτης γενιάς θα είναι διαθέσιμα στους πελάτες της στο cloud μέχρι το τέλος του έτους.

Οι μηχανικοί της Google πέτυχαν πρόσθετα κέρδη απόδοσης αυξάνοντας τη χωρητικότητα μνήμης υψηλού εύρους ζώνης και το συνολικό εύρος ζώνης. Τα μοντέλα τεχνητής νοημοσύνης απαιτούν μεγάλες ποσότητες προηγμένης μνήμης, κάτι που αποτελεί εμπόδιο στην περαιτέρω βελτίωση της απόδοσης.

Αξίζει να σημειωθεί ότι η Google δεν θα πουλά τα δικά της τσιπ TPU ξεχωριστά ως ανεξάρτητα προϊόντα, αλλά θα παρέχει υπολογιστικές υπηρεσίες βασισμένες σε TPU σε εξωτερικούς πελάτες μέσω της Google Cloud Platform (GCP).

Η εξυπνάδα της Google φαίνεται επίσης σε αυτό το σχέδιο: η πώληση υλικού συνεπάγεται άμεσα υψηλά έξοδα και πολύπλοκη διαχείριση της αλυσίδας εφοδιασμού. Παρέχοντας TPU μέσω υπηρεσιών cloud, η Google μπορεί να απλοποιήσει τη διαδικασία εγκατάστασης, ανάπτυξης και διαχείρισης, μειώνοντας την αβεβαιότητα και τα πρόσθετα έξοδα. Αυτό το μοντέλο απλοποιεί επίσης τη διαδικασία πωλήσεων, εξαλείφοντας την ανάγκη δημιουργίας μιας πρόσθετης ομάδας πωλήσεων υλικού. Επιπλέον, η Google βρίσκεται σε σκληρό ανταγωνισμό με το OpenAI για τη δημιουργία τεχνητής νοημοσύνης εάν η Google αρχίσει να πουλά TPU, θα ανταγωνίζεται ταυτόχρονα δύο ισχυρούς αντιπάλους: τη Nvidia και την OpenAI, που μπορεί να μην είναι η πιο έξυπνη στρατηγική αυτή τη στιγμή.

Σε αυτό το σημείο του άρθρου, μερικοί άνθρωποι μπορεί να αναρωτηθούν: Εφόσον η TPU έχει τόσο εξαιρετικά πλεονεκτήματα απόδοσης, θα αντικαταστήσει την GPU στο εγγύς μέλλον;

03

Τώρα μιλάμε για αντικατάσταση GPU; Ίσως είναι πολύ νωρίς

Αυτό το πρόβλημα δεν είναι τόσο απλό.

Το να μιλάμε μόνο για τα πλεονεκτήματα της TPU χωρίς να μιλάμε για τα πλεονεκτήματα της GPU είναι ένα μάτι που τυφλώνει. Στη συνέχεια, πρέπει επίσης να καταλάβουμε πώς η GPU είναι κατάλληλη για την τρέχουσα εκπαίδευση μεγάλων μοντέλων AI σε σύγκριση με την TPU.

Βλέπουμε ότι τα πλεονεκτήματα του TPU βρίσκονται στην εξαιρετική αναλογία ενεργειακής απόδοσης και στους δείκτες υπολογιστικής ισχύος μονάδας κόστους, ωστόσο, ως τσιπ ASIC, το μειονέκτημα του υψηλού κόστους δοκιμής και σφάλματος είναι επίσης σχετικά σαφές.

Επίσης, ως προς την ωριμότητα του οικοσυστήματος. Μετά από χρόνια ανάπτυξης, η GPU διαθέτει ένα μεγάλο και ώριμο οικοσύστημα λογισμικού και εργαλείων ανάπτυξης. Πολλοί προγραμματιστές και ερευνητικά ιδρύματα αναπτύσσουν και βελτιστοποιούν βάσει GPU για μεγάλο χρονικό διάστημα και έχουν συγκεντρώσει πληθώρα βιβλιοθηκών, πλαισίων και αλγορίθμων. Το οικοσύστημα TPU είναι σχετικά νέο και οι διαθέσιμοι πόροι και τα εργαλεία μπορεί να μην είναι τόσο πλούσια όσο αυτά των GPU, γεγονός που μπορεί να κάνει την προσαρμογή και τη βελτιστοποίηση πιο δύσκολη για τους προγραμματιστές.

Όσον αφορά την ευελιξία. Οι GPU σχεδιάστηκαν αρχικά για απόδοση γραφικών, αλλά η αρχιτεκτονική τους είναι εξαιρετικά ευέλικτη και μπορούν να προσαρμοστούν σε πολλούς διαφορετικούς τύπους υπολογιστικών εργασιών, όχι μόνο σε βαθιά εκμάθηση. Αυτό κάνει τη GPU πιο προσαρμόσιμη όταν αντιμετωπίζετε διάφορα σενάρια εφαρμογών. Αντίθετα, οι TPU έχουν σχεδιαστεί ειδικά για φόρτους εργασίας μηχανικής εκμάθησης και ενδέχεται να μην είναι σε θέση να χειριστούν άλλες εργασίες υπολογιστών που δεν σχετίζονται με τη μηχανική μάθηση τόσο αποτελεσματικά όσο οι GPU.

Τέλος, ο ανταγωνισμός στην αγορά των GPU είναι έντονος Διάφοροι κατασκευαστές συνεχίζουν να προωθούν την τεχνολογική καινοτομία και τις ενημερώσεις προϊόντων, ενώ οι νέες αρχιτεκτονικές και οι βελτιώσεις απόδοσης είναι πιο συχνές. Η ανάπτυξη του TPU καθοδηγείται κυρίως από την Google και ο ρυθμός ενημέρωσης και εξέλιξής του μπορεί να είναι σχετικά αργός.

Συνολικά, η NVIDIA και η Google έχουν διαφορετικές στρατηγικές για τα τσιπ τεχνητής νοημοσύνης: Η NVIDIA ωθεί τα όρια απόδοσης των μοντέλων τεχνητής νοημοσύνης παρέχοντας ισχυρή υπολογιστική ισχύ και εκτεταμένη υποστήριξη προγραμματιστών, ενώ η Google βελτιώνει την απόδοση των τσιπ τεχνητής νοημοσύνης μέσω αποτελεσματικής κατανεμημένης αρχιτεκτονικής υπολογιστών . Αυτές οι δύο διαφορετικές επιλογές διαδρομής τους επιτρέπουν να παρουσιάζουν μοναδικά πλεονεκτήματα στα αντίστοιχα πεδία εφαρμογής τους.

Ο λόγος για τον οποίο η Apple επέλεξε το Google TPU μπορεί να οφείλεται στα ακόλουθα σημεία: Πρώτον, η TPU αποδίδει καλά κατά την επεξεργασία εργασιών κατανεμημένης εκπαίδευσης, παρέχοντας αποδοτικές και χαμηλής καθυστέρησης υπολογιστικές δυνατότητες, δεύτερον, χρησιμοποιώντας την πλατφόρμα Google Cloud, η Apple μπορεί να μειώσει το υλικό κόστος και να είστε ευέλικτοι Προσαρμόστε τους υπολογιστικούς πόρους για να βελτιστοποιήσετε το συνολικό κόστος της ανάπτυξης της τεχνητής νοημοσύνης. Επιπλέον, το οικοσύστημα ανάπτυξης τεχνητής νοημοσύνης της Google παρέχει επίσης πληθώρα εργαλείων και υποστήριξης, επιτρέποντας στην Apple να αναπτύξει και να αναπτύξει τα μοντέλα τεχνητής νοημοσύνης της πιο αποτελεσματικά.

Το παράδειγμα της Apple αποδεικνύει την ικανότητα του TPU στην εκπαίδευση μεγάλων μοντέλων. Ωστόσο, σε σύγκριση με την NVIDIA, η TPU εξακολουθεί να χρησιμοποιείται σπάνια στον τομέα των μεγάλων μοντέλων.

Ως εκ τούτου, μπορεί να είναι πολύ νωρίς για να πούμε ότι το TPU της Google μπορεί να νικήσει τη GPU της Nvidia, αλλά το TPU πρέπει να είναι ένας παίκτης με μεγάλη πρόκληση.

04

Ο αμφισβητίας της GPU δεν είναι μόνο η TPU

Η Κίνα έχει επίσης μια εταιρεία που στοιχηματίζει σε μάρκες TPU—Zhonghao Xinying. Ο Yang Gongyifan, ιδρυτής της Zhonghao Xinying, εργάστηκε κάποτε ως βασικός υπάλληλος έρευνας και ανάπτυξης τσιπ στην Google και συμμετείχε βαθιά στο σχεδιασμό και την έρευνα και ανάπτυξη του Google TPU 2/3/4 Κατά την άποψή του, η TPU είναι μια πλεονεκτική αρχιτεκτονική για μεγάλα μοντέλα τεχνητής νοημοσύνης .

Το 2023 γεννήθηκε επίσημα το τσιπ "Snap" του Zhonghao Xinying. Με τις μοναδικές του δυνατότητες υψηλής ταχύτητας διασύνδεσης 1.024 τσιπ, το τσιπ "Snap" έχει δημιουργήσει ένα ευφυές υπολογιστικό σύμπλεγμα μεγάλης κλίμακας που ονομάζεται "Taize". Είναι ένα AIGC με πάνω από 100 δισεκατομμύρια παραμέτρους Η εκπαίδευση και το συμπέρασμα μεγάλων μοντέλων παρέχουν άνευ προηγουμένου εγγύηση υπολογιστικής ισχύος. Αυτό το επίτευγμα όχι μόνο καταδεικνύει τη βαθιά συσσώρευση του Zhonghao Xinying στον τομέα της τεχνολογίας υπολογιστικής ισχύος AI, αλλά κερδίζει επίσης μια πολύτιμη θέση για τα εγχώρια τσιπ στη διεθνή σκηνή.

Ωστόσο, στη σημερινή τεχνητή νοημοσύνη, τα τσιπ NVIDIA H100 είναι ελλιπή και ακριβά.

Οι προκλήσεις που αντιμετωπίζει η GPU είναι πολύ πέρα ​​από την TPU.

Στην έρευνα και ανάπτυξη διαδρομής GPU, ο μεγαλύτερος αντίπαλος της Nvidia είναιAMD, τον Ιανουάριο του τρέχοντος έτους, οι ερευνητές χρησιμοποίησαν περίπου το 8% των GPU στο σύμπλεγμα υπερυπολογιστών Frontier για να εκπαιδεύσουν ένα μεγάλο μοντέλο σε επίπεδο GPT 3,5. Το σύμπλεγμα υπερυπολογιστών Frontier βασίζεται εξ ολοκλήρου στο υλικό AMD, το οποίο αποτελείται από 37.888 επεξεργαστές MI250X και 9.472 επεξεργαστές Epyc 7A53 τη σκοπιμότητα.

Ταυτόχρονα, το οικοσύστημα CUDA καταρρέει σταδιακά τον Ιούλιο του τρέχοντος έτους, η βρετανική εταιρεία Spectral Compute παρουσίασε μια λύση που μπορεί να μεταγλωττίσει εγγενώς τον πηγαίο κώδικα CUDA για τις GPU της AMD, η οποία βελτίωσε σημαντικά την αποτελεσματικότητα της συμβατότητας των GPU της AMD με την CUDA.

IntelΤο Gaudi 3 έκανε επίσης απευθείας συγκριτική αξιολόγηση για το Nvidia H100 όταν κυκλοφόρησε. Τον Απρίλιο του τρέχοντος έτους, η Intel κυκλοφόρησε το Gaudi 3 για τη βαθιά εκμάθηση και τα μοντέλα παραγωγής τεχνητής νοημοσύνης μεγάλης κλίμακας Η Intel είπε ότι σε σύγκριση με την προηγούμενη γενιά, το Gaudi 3 μπορεί να παρέχει τετραπλάσια υπολογιστική ισχύ σε μορφή κινητής υποδιαστολής BF16, ενώ το εύρος ζώνης της μνήμης αυξήθηκε κατά 1,5. φορές και υπηρεσία Το εύρος ζώνης του δικτύου για την επέκταση του συστήματος μεγάλης κλίμακας διπλασιάζεται. Σε σύγκριση με το chip H100 της NVIDIA, εάν εφαρμοστεί στο μοντέλο Meta Llama2 με παραμέτρους 7B και 13B και στο μοντέλο OpenAI GPT-3 με παραμέτρους 175B, το Gaudi 3 αναμένεται να συντομεύσει τον χρόνο εκπαίδευσης αυτών των μοντέλων κατά μέσο όρο κατά 50%.

Επιπλέον, όταν εφαρμόζεται στο Llama με παραμέτρους 7B και 70B και στο μοντέλο ανοιχτού κώδικα Falcon με παραμέτρους 180B, η απόδοση συμπερασμάτων του Gaudi 3 αναμένεται να είναι 50% υψηλότερη κατά μέσο όρο από το H100 και η απόδοση συμπερασμάτων είναι 40% υψηλότερη κατά μέσο όρο. Επιπλέον, το Gaudi 3 έχει μεγαλύτερο πλεονέκτημα απόδοσης συμπερασμάτων σε μεγαλύτερες ακολουθίες εισόδου και εξόδου.

Όταν εφαρμόζεται στο Llama με παραμέτρους 7B και 70B και στο μοντέλο Falcon με παραμέτρους 180B, η ταχύτητα συμπερασμάτων του Gaudi 3 αυξάνεται κατά 30% σε σύγκριση με το NVIDIA H200.

Η Intel είπε ότι το Gaudi 3 θα είναι διαθέσιμο στους πελάτες το τρίτο τρίμηνο του τρέχοντος έτους και σε κατασκευαστές OEM συμπεριλαμβανομένων των Dell, HPE, Lenovo και Supermicro το δεύτερο τρίμηνο, αλλά το εύρος τιμών του Gaudi 3 δεν ανακοινώθηκε.

Τον περασμένο Νοέμβριο,MicrosoftΣτο συνέδριο Ignite Technology, κυκλοφόρησε το πρώτο της τσιπ τεχνητής νοημοσύνης Azure Maia 100 που αναπτύχθηκε μόνος του, καθώς και το Azure Cobalt, ένα τσιπ που χρησιμοποιείται σε υπηρεσίες λογισμικού cloud. Τα δύο τσιπ θα κατασκευάζονται από την TSMC και θα χρησιμοποιούν τεχνολογία διαδικασίας 5nm.

Αναφέρεται ότι τα προϊόντα υψηλής τεχνολογίας της Nvidia μπορούν μερικές φορές να πουληθούν από 30.000 έως 40.000 δολάρια ΗΠΑ το καθένα. Οι μεγάλες εταιρείες τεχνολογίας με μεγάλη ζήτηση για τσιπ τεχνητής νοημοσύνης αναζητούν απεγνωσμένα εναλλακτικές πηγές προμήθειας Η Microsoft επέλεξε να αναπτύξει τα δικά της προϊόντα με την ελπίδα να βελτιώσει την απόδοση των παραγωγικών προϊόντων τεχνητής νοημοσύνης όπως το ChatGPT.

Το Cobalt είναι ένα τσιπ γενικής χρήσης που βασίζεται στην αρχιτεκτονική του βραχίονα με 128 πυρήνες. Αυτά τα δύο τσιπ θα εισαχθούν στο κέντρο δεδομένων Microsoft Azure και σε υπηρεσίες υποστήριξης όπως το OpenAI και το Copilot.

Ο Rani Borkar, αντιπρόεδρος αρμόδιος για το τμήμα τσιπ Azure, είπε ότι η Microsoft έχει αρχίσει να δοκιμάζει το τσιπ Maia 100 με το Bing και ο κύριος συνεργάτης τεχνητής νοημοσύνης της Microsoft, ο προγραμματιστής OpenAI του ChatGPT, βρίσκεται επίσης σε δοκιμή. Ορισμένα σχόλια της αγοράς πιστεύουν ότι η χρονική στιγμή του έργου τσιπ τεχνητής νοημοσύνης της Microsoft είναι συμπτωματική, όπως τα μοντέλα γλώσσας μεγάλης κλίμακας που καλλιεργούνται από τη Microsoft, την OpenAI και άλλες εταιρείες έχουν αρχίσει να απογειώνονται.

Ωστόσο, η Microsoft δεν πιστεύει ότι τα τσιπ AI της μπορούν να αντικαταστήσουν ευρέως τα προϊόντα της Nvidia. Ορισμένοι αναλυτές πιστεύουν ότι εάν οι προσπάθειες της Microsoft είναι επιτυχείς, μπορεί επίσης να τη βοηθήσει να αποκτήσει πλεονέκτημα σε μελλοντικές διαπραγματεύσεις με τη Nvidia.

Εκτός από τους γίγαντες των τσιπ, δεν λείπει και ο αντίκτυπος από νεοφυείς εταιρείες. Για παράδειγμα, το LPU που λανσαρίστηκε από την Groq, το Wafer Scale Engine 3 που κυκλοφόρησε από την Cerebras, το Sohu που ξεκίνησε από την Etched κ.λπ.

Επί του παρόντος, η Nvidia ελέγχει περίπου το 80% της αγοράς τσιπ κέντρων δεδομένων τεχνητής νοημοσύνης, ενώ το μεγαλύτερο μέρος του υπόλοιπου 20% ελέγχεται από διαφορετικές εκδόσεις του Google TPU. Θα συνεχίσει να αυξάνεται το μερίδιο αγοράς της TPU στο μέλλον; Πόσο θα μεγαλώσει; Θα υπάρξουν άλλες αρχιτεκτονικές τσιπ AI που θα χωρίσουν την υπάρχουσα δομή της αγοράς σε τρία; Αυτά τα σασπένς αναμένεται να αποκαλυφθούν σταδιακά τα επόμενα χρόνια.