Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: Taozi

[Εισαγωγή στη Νέα Σοφία] Απροσδόκητα, το multi-modal Llama 4 έχει ήδη ξεκινήσει την προπόνηση σε πλήρη εξέλιξη. Ο Xiao Zha είπε ότι θα επενδύσει δέκα φορές το ποσό υπολογισμού του Llama 3 για να εκπαιδεύσει το μοντέλο, το οποίο αναμένεται να κυκλοφορήσει το 2025. Ξόδεψε πολλά χρήματα για να αγοράσει μια GPU, αλλά φοβόταν ότι θα ήταν πολύ αργά.

Το Llama 3.1 μόλις κυκλοφόρησε και το Llama 4 έχει τεθεί πλήρως σε εκπαίδευση.

Τις προηγούμενες ημέρες, ο Xiao Zha είπε στην οικονομική έκθεση δεύτερου τριμήνου ότι η Meta θα χρησιμοποιήσει δέκα φορές την υπολογιστική ισχύ του Llama 3 για να εκπαιδεύσει την επόμενης γενιάς πολυτροπική Llama 4, η οποία αναμένεται να κυκλοφορήσει το 2025.

Με αυτό το νομοσχέδιο, ο Λάο Χουάνγκ έγινε και πάλι ο μεγαλύτερος νικητής

Ποια είναι η έννοια του δεκαπλάσιου του ποσού του υπολογισμού;

Ξέρετε, το Llama 3 εκπαιδεύεται σε δύο συμπλέγματα GPU με 24.000 GPU. Με άλλα λόγια, η εκπαίδευση του Llama 4 απαιτεί 240.000 GPU.

Λοιπόν, είναι αρκετό το απόθεμα Meta;

Θυμάμαι ακόμα ότι ο Xiao Zha ανακοίνωσε στην αρχή του έτους ότι σχεδίαζε να αναπτύξει 350.000 Nvidia H100 μέχρι το τέλος του έτους.

Αποκάλυψε επίσης περισσότερες λεπτομέρειες η Meta θα κατασκευάσει εσωτερικά δύο μεμονωμένα cluster για την εκπαίδευση LLM, το ένα εξοπλισμένο με 22.000 μπλοκ H100 και το άλλο με 24.000 μπλοκ.

Κάποτε κάποιοι χρήστες του Διαδικτύου εξέτασαν πώς αυξήθηκε η χρήση GPU κατά τη διαδικασία επανάληψης του μοντέλου Llama:

Llama 1: 2048 GPU

Llama 2: 4096 GPU

Llama 3.1: 16384 GPU

Ή ξοδέψτε 40 δισεκατομμύρια δολάρια, ο Xiao Zha δεν θέλει να είναι πολύ αργά

Μπορεί να φανεί ότι η εκπαίδευση μεγάλων μοντέλων είναι μια δαπανηρή επιχείρηση.

Η οικονομική έκθεση δείχνει ότι οι κεφαλαιουχικές δαπάνες της Meta σε διακομιστές, κέντρα δεδομένων και υποδομές δικτύου αυξήθηκαν κατά σχεδόν 33% το δεύτερο τρίμηνο.

Αυξήθηκε σε 8,5 δισεκατομμύρια δολάρια ΗΠΑ από 6,4 δισεκατομμύρια δολάρια την ίδια περίοδο πέρυσι.

Οι ετήσιες δαπάνες αναμένεται τώρα να είναι 37 έως 40 δισεκατομμύρια δολάρια, έναντι προηγούμενης εκτίμησης 35 έως 40 δισεκατομμυρίων δολαρίων.

Μια αναφορά από την Information ανέφερε ότι η OpenAI ξόδεψε 3 δισεκατομμύρια δολάρια για μοντέλα εκπαίδευσης και άλλα 4 δισεκατομμύρια δολάρια για την ενοικίαση διακομιστών από τη Microsoft με έκπτωση.

Μπορεί να φανεί πόσο ειρωνικό είναι να ξοδεύεις υπολογιστική ισχύ για να εκπαιδεύεις μεγάλα μοντέλα.

Αλλά η σημασία είναι ότι ο ανοιχτός κώδικας του Llama 3.1 θα γίνει ένα σημαντικό σημείο καμπής στον κλάδο της τεχνητής νοημοσύνης και η τεχνητή νοημοσύνη ανοιχτού κώδικα θα αρχίσει να γίνεται βιομηχανικό πρότυπο όπως το Linux.

Η Meta σχεδιάζει συμπλέγματα υπολογιστών και κέντρα δεδομένων για τα επόμενα χρόνια για να υποστηρίξει τις μελλοντικές γενιές μοντέλων τεχνητής νοημοσύνης.

Ο Xiao Zha παραδέχτηκε ότι είναι δύσκολο να προβλεφθεί η μελλοντική πορεία ανάπτυξης της τεχνολογίας AI, αλλά η κατασκευή υποδομής δεν είναι γρήγορη.

Παρά την αβεβαιότητα, ήμουν πρόθυμος να πάρω το ρίσκο να χτίσω μπροστά από το χρόνο αντί να μείνω πίσω από τους ανταγωνιστές μου λόγω έλλειψης προετοιμασίας.

Η προνοητικότητα του Xiao Zha οδήγησε κάποτε την εταιρεία να ξεχωρίσει στο κύμα του metaverse.

Όταν η τιμή της μετοχής της εταιρείας υπέστη σοβαρό χτύπημα το 2022, ο Xiao Zha πήρε το ρίσκο και αγόρασε μεγάλο αριθμό H100.

Η οικονομική έκθεση τρίτου τριμήνου εκείνου του έτους έδειξε ότι οι κεφαλαιουχικές δαπάνες της Meta έφτασαν τα 32 έως 33 δισεκατομμύρια δολάρια ΗΠΑ.

Πολλά από αυτά προορίζονται για την κατασκευή κέντρων δεδομένων, διακομιστών και υποδομής δικτύου, καθώς και για τεράστιες επενδύσεις στο Metaverse.

Στη συνέντευξη, ο Xiao Zha εξήγησε: «Εκείνη την εποχή, η Meta ανέπτυζε δυναμικά το εργαλείο σύντομου βίντεο Reels, οπότε χρειάζονταν περισσότερες GPU για την εκπαίδευση του μοντέλου».

Επειδή η εξαγωγή συμπερασμάτων μοντέλου είναι ένα κρίσιμο ζήτημα για τη Meta, πρέπει να παρέχει υπηρεσίες σε χρήστες των δικών της εφαρμογών όπως το Facebook και το Ins.

Με τα αρχικά λόγια του Xiao Zha:

Ο λόγος των υπολογισμών συμπερασμάτων και της εκπαίδευσης που απαιτείται από εμάς μπορεί να είναι πολύ υψηλότερος από άλλες εταιρείες που ασχολούνται με αυτόν τον τομέα, επειδή ο αριθμός των χρηστών της κοινότητας που εξυπηρετούμε είναι πολύ μεγάλος.

Όλοι έχουν έναν πράκτορα AI

Πριν από λίγο καιρό, ο επιστήμονας της Meta AI Thomas Scialom ανέφερε επίσης σε μια συνέντευξη στο blog ότι το Llama 4 είχε ξεκινήσει την εκπαίδευση τον Ιούνιο.

Είπε ότι το νέο μοντέλο μπορεί να επικεντρωθεί στην τεχνολογία πρακτόρων και έχει διεξαχθεί κάποια έρευνα σε εργαλεία πρακτόρων όπως το Toolformer.

Ο Xiao Zha πιστεύει ότι οι πράκτορες τεχνητής νοημοσύνης θα γίνουν σύντομα ο «τυποποιημένος εξοπλισμός» για τις διαδικτυακές εταιρείες.

«Καθώς περνάει ο καιρός, νομίζω ότι όπως κάθε επιχείρηση έχει έναν ιστότοπο, λογαριασμούς στα μέσα κοινωνικής δικτύωσης και διευθύνσεις email, στο μέλλον κάθε επιχείρηση θα έχει έναν πράκτορα τεχνητής νοημοσύνης με τον οποίο θα μπορούν να αλληλεπιδρούν οι πελάτες».

Στόχος της Meta είναι να επιτρέψει σε κάθε μικρή επιχείρηση, και τελικά ακόμη και σε κάθε μεγάλη επιχείρηση, να ενσωματώσει εύκολα το δικό της περιεχόμενο και τα προϊόντα της σε πράκτορες AI.

Όταν αυτή η τεχνολογία εφαρμόζεται σε πρακτικές εφαρμογές σε μεγάλη κλίμακα, θα επιταχύνει σημαντικά τα έσοδα από τις επιχειρηματικές πληροφορίες μας.

Παρά την κριτική από τους επενδυτές για τις υψηλές δαπάνες του Meta για την τεχνητή νοημοσύνη και το Metaverse, ο Zuckerberg παραμένει αφοσιωμένος στη στρατηγική του.

Ενώ η εικονική πραγματικότητα φαίνεται να έχει πάρει πίσω θέση τα τελευταία τρίμηνα στο Meta, ο Zuckerberg ανέφερε ότι οι πωλήσεις του Quest 3 ξεπέρασαν τις προσδοκίες της εταιρείας.

Τα στοιχεία του δεύτερου τριμήνου δείχνουν ότι τα έσοδα σε αυτόν τον τομέα αυξήθηκαν κατά 22% στα 39,1 δισεκατομμύρια δολάρια ΗΠΑ και τα κέρδη αυξήθηκαν κατά 73% στα 13,5 δισεκατομμύρια δολάρια ΗΠΑ.

Για το τρίτο τρίμηνο, η Meta αναμένει έσοδα της τάξης των 38,5-41 δισεκατομμυρίων δολαρίων.

Πηγές λένε ότι η εταιρεία θα ανακοινώσει ένα φθηνότερο ζευγάρι ακουστικών στο συνέδριο Connect τον Σεπτέμβριο.

Επιπλέον, ο βοηθός AI Meta AI γίνεται όλο και πιο δημοφιλής και ο Xiao Zha είπε ότι αναμένεται να γίνει ο πιο ευρέως χρησιμοποιούμενος βοηθός AI μέχρι το τέλος του έτους.

Βιβλιογραφικές αναφορές:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg