Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Machine Heart

Τμήμα Σύνταξης Machine Heart

Karpathy: Η Tesla και το OpenAI ήταν κάποτε «παράπλευρες δουλειές», αλλά τώρα αυτό που κάνω είναι «η δουλειά πλήρους απασχόλησης».

Μόλις τώρα, ο Andrej Karpathy ανακοίνωσε τον επόμενο σταθμό του στην πλατφόρμα X: την ίδρυση μιας εταιρείας τεχνητής νοημοσύνης + εκπαίδευσης που ονομάζεται Eureka Labs.

Είμαι στην ευχάριστη θέση να μοιραστώ μαζί σας ότι ξεκινώ μια εταιρεία τεχνητής νοημοσύνης + εκπαίδευσης που ονομάζεται Eureka Labs. Η ανακοίνωση έχει ως εξής:

Είμαστε τα εργαστήρια Eureka και χτίζουμε ένα νέο σχολείο τεχνητής νοημοσύνης. Πώς μπορούμε να επιτύχουμε την ιδανική εμπειρία εκμάθησης νέων γνώσεων; Για παράδειγμα, στη φυσική, μπορούμε να φανταστούμε να μελετάτε υλικό μαθημάτων υψηλής ποιότητας με τον Feynman, ο οποίος σας καθοδηγεί σε κάθε βήμα. Δυστυχώς, υπάρχει επίσης μια σπανιότητα παθιασμένων, παιδαγωγικών, απείρως υπομονετικών ειδικών που να μιλούν άπταιστα κάθε γλώσσα στον κόσμο και να μην μπορούν να διδάξουν προσωπικά τα 8 δισεκατομμύρια ανθρώπους μας κατ' απαίτηση. Ωστόσο, με τις πρόσφατες εξελίξεις στη γενετική τεχνητή νοημοσύνη, αυτό το είδος μαθησιακής εμπειρίας φαίνεται εφικτό.

Οι καθηγητές εξακολουθούν να είναι υπεύθυνοι για το σχεδιασμό του υλικού μαθημάτων, αλλά αυτά τα υλικά υποστηρίζονται, αξιοποιούνται και επεκτείνονται από βοηθούς τεχνητής νοημοσύνης που είναι βελτιστοποιημένοι για να βοηθούν τους μαθητές να καθοδηγούν το υλικό. Αυτό το συμβιωτικό μοντέλο «δάσκαλος + τεχνητή νοημοσύνη» μπορεί να τρέξει ολόκληρο το μάθημα σε μια κοινή πλατφόρμα. Εάν τα καταφέρουμε, ο καθένας μπορεί να μάθει οτιδήποτε εύκολα, επεκτείνοντας έτσι την εμβέλεια (μεγάλος αριθμός ατόμων μαθαίνει κάτι) και την έκταση (κάθε άτομο μπορεί να μάθει μεγάλο αριθμό θεμάτων) πέρα ​​από αυτό που είναι εφικτό σήμερα χωρίς βοήθεια ). Το πρώτο μας προϊόν θα είναι το LLM101n, το καλύτερο μάθημα τεχνητής νοημοσύνης στον κόσμο.

Αυτό είναι ένα προπτυχιακό μάθημα που καθοδηγεί τους μαθητές στην εκπαίδευση της δικής τους τεχνητής νοημοσύνης, όπως μια μειωμένη έκδοση ενός μαθήματος βοηθού διδασκαλίας AI. Το υλικό του μαθήματος θα είναι διαθέσιμο στο διαδίκτυο, αλλά σκοπεύουμε επίσης να προσφέρουμε τόσο ψηφιακά όσο και φυσικά μαθήματα. Σήμερα, εργαζόμαστε σκληρά για την κατασκευή του LLM101n, αλλά προσβλέπουμε σε ένα μέλλον όπου η τεχνητή νοημοσύνη θα γίνει βασική τεχνολογία για την ενίσχυση του ανθρώπινου δυναμικού.

Το Eureka Labs είναι το αποκορύφωμα του πάθους μου για περισσότερες από δύο δεκαετίες για την τεχνητή νοημοσύνη και την εκπαίδευση. Από τα μαθήματα Rubik's Cube στο YouTube έως το CS231n στο Πανεπιστήμιο του Στάνφορντ, μέχρι την πρόσφατη σειρά "Zero-to-Hero AI", το ενδιαφέρον μου για την εκπαίδευση ήταν πάντα μαζί μου. Η δουλειά μου στον τομέα της τεχνητής νοημοσύνης εκτείνεται από την ακαδημαϊκή έρευνα στο Πανεπιστήμιο του Στάνφορντ έως τα πραγματικά προϊόντα στην Tesla έως την έρευνα AGI του OpenAI. Μέχρι σήμερα, όλες οι δουλειές μου και στους δύο τομείς ήταν μερικής απασχόλησης, παρενέργειες στο πλευρό της «ημερήσιας» δουλειάς μου. Έτσι, είμαι ενθουσιασμένος που θα βουτήξω και θα δημιουργήσω κάτι υπέροχο σε επαγγελματική και πλήρη απασχόληση. Αν και είναι ακόμη νωρίς, θέλω να ανακοινώσω την εταιρεία ώστε να μπορέσω να δημιουργήσω δημόσια την εταιρεία αντί να την κρατήσω σκοτεινό μυστικό.

Ο Andrej Karpathy έχει πολλές ταυτότητες: μαθητής του Li Feifei, ιδρυτικό μέλος και ερευνητής του OpenAI, πρώην ανώτερος διευθυντής τεχνητής νοημοσύνης της Tesla και γνωστός blogger στο YouTube "Learning Zone".

Τον Φεβρουάριο του τρέχοντος έτους, ο Karpathy ανακοίνωσε την αποχώρησή του από το OpenAI και είπε: «Δεν υπήρξε καμία δραματική σύγκρουση, απλώς ήθελα να δοκιμάσω το δικό μου προσωπικό έργο». Έκτοτε, η επόμενη κίνησή του έγινε στο επίκεντρο της προσοχής του κοινού.

Αυτό μας θυμίζει έναν άλλο γνωστό μελετητή της τεχνητής νοημοσύνης, τον Andrew Ng Ως ιδρυτής του έργου Google Brain και πρώην επικεφαλής επιστήμονας της Baidu, ο Andrew Ng συνίδρυσε την διαδικτυακή εκπαιδευτική πλατφόρμα Coursera με τη συνάδελφό του στο Stanford, Daphne Koller. Ίσως, τα μεγάλα παιδιά που ασχολούνται με τη θεωρητική έρευνα έχουν όλοι ένα εκπαιδευτικό όνειρο στην καρδιά τους.

Νέα εταιρεία εστιάζει στην εκπαίδευση AI+

Το πρώτο προϊόν της Eureka Labs είναι το μάθημα προπτυχιακού επιπέδου LLM101n, που έχει σχεδιαστεί για να βοηθά τους μαθητές να εκπαιδεύουν τα δικά τους μοντέλα AI.

Τον Ιούνιο, ο Andrej Karpathy ανέβασε μόνο τον κατάλογο μαθημάτων LLM101n στο GitHub και έγινε γρήγορα επιτυχία.

Συγκεκριμένα, το LLM101n ξεκινάει με τη διδασκαλία από τα βασικά της μοντελοποίησης γλωσσών και της μηχανικής εκμάθησης και στη συνέχεια προχωρά στην πολυτροπικότητα, στο RLHF και στην ανάπτυξη μοντέλων. Στοχεύει στη δημιουργία ενός μεγάλου μοντέλου τεχνητής νοημοσύνης ιστοριών (LLM) και στη χρήση τεχνητής νοημοσύνης για τη δημιουργία, τη βελτίωση και την ανάπτυξη. εικονογραφήστε σύντομες ιστορίες , καλύπτοντας τα πάντα, από τα βασικά έως μια λειτουργική εφαρμογή ιστού όπως το ChatGPT, και δημιουργώντας έργα από την αρχή χρησιμοποιώντας Python, C και CUDA με ελάχιστες προϋποθέσεις για την επιστήμη των υπολογιστών. Αυτό το μάθημα θα δώσει στους φοιτητές μια σχετικά εις βάθος κατανόηση της τεχνητής νοημοσύνης, του LLM και της βαθιάς μάθησης.

Επί του παρόντος, τρεις εβδομάδες μετά τη μεταφόρτωση, το έργο LLM101n έχει λάβει 17 χιλιάδες αστέρια.

Κάτω από την επίσημη ανάρτηση της Karpathy που ανακοινώνει τη νέα εταιρεία, ο επικεφαλής επιστήμονας της Google Jeff Dean έστειλε τις ειλικρινείς ευλογίες του.

Στην περιοχή των σχολίων, η Karpathy εξήγησε επίσης την προέλευση του ονόματος Eureka Labs: Το Eureka (από τα αρχαία ελληνικά) είναι ένα καλό συναίσθημα αφού καταλαβαίνεις κάτι, σαν να έκανε κλικ στον εγκέφαλο. Στόχος τους είναι να εμπνεύσουν αυτές τις στιγμές στις καρδιές των ανθρώπων. Ο λόγος για την προσθήκη του Labs στο όνομα είναι: Το Eureka ως μεμονωμένη λέξη έχει χρησιμοποιηθεί από άλλους (ένα πλαίσιο ανακάλυψης υπηρεσιών που αναπτύχθηκε από το Netflix) και πάντα ήθελε ένα εργαστήριο...

Επί του παρόντος, η εταιρεία έχει ανοίξει ένα επίσημο αποθετήριο Twitter και GitHub.

Διεύθυνση GitHub: https://github.com/EurekaLabsAI

Ενεργά πρόσωπα στον τομέα της τεχνητής νοημοσύνης

Προσωπική αρχική σελίδα: https://karpathy.ai/

Από το 2005 έως το 2009, ο Andrej Karpathy σπούδασε στο Πανεπιστήμιο του Τορόντο στον Καναδά, με ειδικότητα στην επιστήμη των υπολογιστών και τη φυσική και με ελάχιστα στα μαθηματικά. Εδώ, εκτέθηκε σε βαθιά μάθηση για πρώτη φορά και άκουσε τα μαθήματα του Hinton.

Από το 2009 έως το 2011, ο Karpathy σπούδασε για το μεταπτυχιακό του στο Πανεπιστήμιο της Βρετανικής Κολομβίας στον Καναδά. Επιβλέπων του ήταν ο καθηγητής Michiel van de Panne του Τμήματος Επιστήμης Υπολογιστών.

Από το 2011 έως το 2016, ο Δρ. Karpathy σπούδασε στο Πανεπιστήμιο του Στάνφορντ, σπουδάζοντας υπό τον διάσημο μελετητή AI Li Feifei, εστιάζοντας στην έρευνα συνελικτικών/επαναλαμβανόμενων νευρωνικών δικτύων και των εφαρμογών τους στην όραση υπολογιστών, την επεξεργασία φυσικής γλώσσας και τα πολλαπλά πεδία. Κατά τη διάρκεια αυτής της περιόδου, σχεδίασε και υπηρέτησε ως ο κύριος εκπαιδευτής του πρώτου μαθήματος βαθιάς μάθησης του Στάνφορντ «CS231n: Συνελικτικά νευρωνικά δίκτυα και οπτική αναγνώριση».

Εν τω μεταξύ, το Karpathy έχει επίσης τρεις πρακτικές. Το 2011, έκανε πρακτική στο Google Brain στα αρχικά του στάδια, δουλεύοντας σε μεγάλης κλίμακας μη εποπτευόμενη μάθηση σε βίντεο. Αργότερα, το 2013, έκανε πρακτική άσκηση στο Google Research ξανά, ασχολούμενος με μεγάλης κλίμακας εποπτευόμενη εκμάθηση βίντεο YouTube. Το 2015, έκανε πρακτική στο DeepMind και συμμετείχε στην ομάδα εκμάθησης βαθιάς ενίσχυσης.

Επί του παρόντος, οι αναφορές του Karpathy στο Google Scholar έχουν φτάσει τις 66.426. Μεταξύ αυτών, η εργασία του "Ταξινόμηση βίντεο μεγάλης κλίμακας με συνελικτικά νευρωνικά δίκτυα", η δεύτερη πιο αναφερόμενη και ο πρώτος συγγραφέας του, συμπεριλήφθηκε στο CVPR 2014 Oral.

Ο Karpathy είναι ιδρυτικό μέλος και ερευνητής στο OpenAI. Λίγο περισσότερο από ένα χρόνο μετά την ίδρυση του OpenAI, το 2017, η Karpathy αποδέχτηκε την πρόσκληση του Μασκ να συμμετάσχει στην Tesla, αντικαθιστώντας τον Chris Lattner, τον τότε επικεφαλής του Autopilot της Tesla και πατέρα της γλώσσας Swift και του μεταγλωττιστή LLVM της Apple.

Για πέντε χρόνια, η Karpathy διευκόλυνε μόνη της την ανάπτυξη του Autopilot. Καθώς ο Tesla επεκτάθηκε αργά από την αρχική αυτοοδήγηση στο ευρύτερο πεδίο της τεχνητής νοημοσύνης, ο Karpathy προήχθη επίσης στον ανώτερο διευθυντή AI της Tesla, αναφέροντας απευθείας στον Musk.

Πάθος για εκπαίδευση

Μάλιστα, κατά τη διάρκεια προηγούμενων αλλαγών σταδιοδρομίας, η Karpathy είχε ήδη εκδηλώσει ενδιαφέρον να «ενταχθεί στον κλάδο της εκπαίδευσης».

Η Karpathy έφυγε από την Tesla τον Ιούλιο του 2022. Σε συνέντευξή του, είπε ότι ήταν μια δύσκολη απόφαση. Αν και η Tesla δεν έχει ακόμη εφαρμόσει πλήρως την αυτόνομη οδήγηση, η ομάδα Ε&Α μπόρεσε να αναπτυχθεί μόνη της. Αυτή η παραίτηση του έδωσε επίσης την ευκαιρία να επανεξετάσει την αγάπη του για την τεχνητή νοημοσύνη, τον ανοιχτό κώδικα και την εκπαίδευση.

Οκτώ μήνες αφότου άφησε τη δουλειά του, τον Φεβρουάριο του 2023, ο Karpathy ανακοίνωσε ότι θα ενταχθεί ξανά στο OpenAI. Κατά τη διάρκεια αυτής της περιόδου, εκτός από την ολοκλήρωση της ερευνητικής εργασίας στο OpenAI, η Karpathy εργάστηκε επίσης σε ορισμένα προσωπικά έργα, όπως η εγγραφή εκπαιδευτικών βίντεο, η ανάπτυξη ενός έργου ανοιχτού κώδικα για το Llama 2 - llama2.c, κ.λπ.

Μετά την εσωτερική διαμάχη στο OpenAI τον Φεβρουάριο του τρέχοντος έτους, η Karpathy παραιτήθηκε ξανά από το OpenAI και εργάζεται σε ορισμένα μαθήματα ανοιχτού κώδικα.

Τώρα, έχω επίσημα αφοσιωθεί στην εκπαιδευτική σταδιοδρομία που αγαπώ. Μπορούμε να περιμένουμε ότι η Karpathy θα φέρει περισσότερους εξαιρετικούς πόρους πορείας στον τομέα της τεχνητής νοημοσύνης.

Για περισσότερα σχετικά με τα προγράμματα μαθημάτων του Karpathy, ανατρέξτε στο Extended Reading.