nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapport sur le cœur de la machine

Département éditorial de Machine Heart

Karpathy : Tesla et OpenAI étaient autrefois des « emplois secondaires », mais maintenant ce que je fais est mon « travail à temps plein ».

Tout à l'heure, Andrej Karpathy a annoncé sa prochaine étape sur la plateforme X : fonder une société d'intelligence artificielle et d'éducation appelée Eureka Labs.

Je suis heureux de partager avec vous que je lance une entreprise d'intelligence artificielle + éducation appelée Eureka Labs. L'annonce est la suivante :

Nous sommes Eureka Labs et nous construisons une nouvelle école native de l'IA. Comment pouvons-nous réaliser l’expérience idéale d’apprentissage de nouvelles connaissances ? Par exemple, en physique, on peut imaginer étudier du matériel de cours de haute qualité avec Feynman, qui vous guide à chaque étape. Malheureusement, il existe également une pénurie d’experts passionnés, pédagogiques et d’une patience infinie, qui parlent couramment toutes les langues du monde et ne peuvent pas personnellement enseigner à nos 8 milliards d’habitants à la demande. Cependant, grâce aux progrès récents de l’intelligence artificielle générative, ce type d’expérience d’apprentissage semble réalisable.

Les enseignants sont toujours responsables de la conception du matériel de cours, mais ces matériels sont pris en charge, exploités et étendus par des assistants IA optimisés pour aider à guider les étudiants à travers le matériel. Ce modèle symbiotique « enseignant + intelligence artificielle » permet de dérouler l'intégralité du cours sur une plateforme commune. Si nous réussissons, n’importe qui peut apprendre n’importe quoi facilement, élargissant ainsi la portée (un grand nombre de personnes apprennent quelque chose) et l’étendue (n’importe quelle personne peut apprendre un grand nombre de matières) de l’éducation au-delà de ce qui est actuellement possible sans aide. ). Notre premier produit sera le LLM101n, le meilleur cours d'intelligence artificielle au monde.

Il s'agit d'un cours de premier cycle qui guide les étudiants dans la formation de leur propre intelligence artificielle, un peu comme une version réduite d'un cours d'assistant pédagogique en IA. Le matériel de cours sera disponible en ligne, mais nous prévoyons également de proposer des cours numériques et physiques. Aujourd’hui, nous travaillons dur pour construire le LLM101n, mais nous attendons avec impatience un avenir où l’intelligence artificielle deviendra une technologie clé pour améliorer le potentiel humain.

Eureka Labs est l'aboutissement de plus de deux décennies de ma passion pour l'intelligence artificielle et l'éducation. Des didacticiels Rubik's Cube sur YouTube au CS231n de l'Université de Stanford, en passant par la récente série "Zero-to-Hero AI", mon intérêt pour l'éducation a toujours été avec moi. Mon travail dans le domaine de l'intelligence artificielle s'étend de la recherche universitaire à l'Université de Stanford aux produits réels de Tesla en passant par la recherche AGI d'OpenAI. À ce jour, tous mes emplois dans les deux domaines ont été à temps partiel, des activités annexes à mon travail « quotidien ». Je suis donc ravi de me lancer et de créer quelque chose de formidable sur une base professionnelle et à temps plein. Bien qu'il soit encore tôt, je souhaite annoncer la société afin de pouvoir la créer publiquement au lieu de la garder un sombre secret.

Andrej Karpathy a de nombreuses identités : disciple de Li Feifei, membre fondateur et chercheur d'OpenAI, ancien directeur principal de l'IA de Tesla et blogueur bien connu de la « Zone d'apprentissage » sur YouTube.

En février de cette année, Karpathy a annoncé son départ d'OpenAI et a déclaré : « Il n'y a pas eu de conflit dramatique, je voulais juste essayer mon propre projet personnel. » Depuis lors, son prochain geste est devenu le centre de l’attention du public.

Cela nous rappelle un autre spécialiste bien connu de l'IA, Andrew Ng. En tant que fondateur du projet Google Brain et ancien scientifique en chef de Baidu, Andrew Ng a cofondé la plateforme d'éducation en ligne Coursera avec sa collègue professeure à Stanford, Daphne Koller. Peut-être que les grands engagés dans la recherche théorique ont tous un rêve éducatif dans leur cœur.

Une nouvelle entreprise se concentre sur l'IA et l'éducation

Le premier produit d'Eureka Labs est le cours de premier cycle LLM101n, conçu pour aider les étudiants à former leurs propres modèles d'IA.

En juin, Andrej Karpathy n'a mis en ligne que le catalogue des cours LLM101n sur GitHub, et il est rapidement devenu un succès.

Plus précisément, LLM101n commence par l'enseignement des bases de la modélisation du langage et de l'apprentissage automatique, puis passe à la multimodalité, au RLHF et au déploiement de modèles. Il vise à créer un grand modèle d'IA Storyteller (LLM) et à utiliser l'IA pour créer, améliorer et. illustrer des histoires courtes, couvrant tout, des bases à une application Web fonctionnelle comme ChatGPT, et en créant des projets à partir de zéro en utilisant Python, C et CUDA avec des prérequis informatiques minimes. Ce cours donnera aux étudiants une compréhension relativement approfondie de l'IA, du LLM et de l'apprentissage profond.

Actuellement, trois semaines après sa mise en ligne, le projet LLM101n a reçu 17 000 étoiles.

Sous le message officiel de Karpathy annonçant la nouvelle société, le scientifique en chef de Google, Jeff Dean, a envoyé ses sincères bénédictions.

Dans la zone de commentaires, Karpathy a également expliqué l'origine du nom Eureka Labs : Eureka (du grec ancien) est une sensation agréable après avoir compris quelque chose, comme si quelque chose avait cliqué dans le cerveau. Leur objectif est d'inspirer ces moments dans le cœur des gens. La raison pour laquelle Labs a été ajouté au nom est la suivante : Eureka, en tant que mot unique, a été utilisé par d'autres (un cadre de découverte de services développé par Netflix), et il a toujours voulu un laboratoire...

Actuellement, la société a ouvert un référentiel officiel Twitter et GitHub.

Adresse GitHub : https://github.com/EurekaLabsAI

Des personnalités actives dans le domaine de l’IA

Page d'accueil personnelle : https://karpathy.ai/

De 2005 à 2009, Andrej Karpathy a étudié à l'Université de Toronto au Canada, avec une spécialisation en informatique et physique et une mineure en mathématiques. Ici, il a été exposé pour la première fois à l'apprentissage profond et a écouté les cours de Hinton.

De 2009 à 2011, Karpathy a étudié pour sa maîtrise à l'Université de Colombie-Britannique au Canada. Son superviseur était le professeur Michiel van de Panne du Département d'informatique. Il a principalement étudié l'apprentissage automatique pour les robots agiles dans les simulations physiques.

De 2011 à 2016, le Dr Karpathy a étudié à l'Université de Stanford, sous la direction du célèbre spécialiste de l'IA Li Feifei, en se concentrant sur la recherche sur les réseaux neuronaux convolutifs/récurrents et leurs applications dans la vision par ordinateur, le traitement du langage naturel et les domaines croisés. Au cours de cette période, il a conçu et a été l'instructeur principal du premier cours d'apprentissage profond de Stanford « CS231n : Convolutional Neural Networks and Visual Recognition ».

Pendant ce temps, Karpathy propose également trois stages. En 2011, il a effectué un stage chez Google Brain à ses débuts, travaillant sur l'apprentissage vidéo non supervisé à grande échelle. Plus tard en 2013, il a de nouveau effectué un stage chez Google Research, engagé dans un apprentissage supervisé à grande échelle de vidéos YouTube. En 2015, il effectue un stage chez DeepMind et participe à l'équipe d'apprentissage par renforcement profond.

Actuellement, les citations d'articles de Karpathy sur Google Scholar ont atteint 66 426. Parmi eux, son article « Large-scale Video Classification with Convolutional Neural Networks », le deuxième plus cité et son premier auteur, a été inclus dans le CVPR 2014 Oral.

Karpathy est membre fondateur et chercheur scientifique d'OpenAI. Un peu plus d'un an après la création d'OpenAI, en 2017, Karpathy a accepté l'invitation de Musk à rejoindre Tesla, en remplacement de Chris Lattner, alors responsable du pilote automatique de Tesla et père du langage Swift et du compilateur LLVM d'Apple.

Pendant cinq ans, Karpathy a facilité à elle seule le développement d’Autopilot. Alors que Tesla passait lentement de la conduite autonome initiale au domaine plus large de l'intelligence artificielle, Karpathy a également été promu directeur principal de l'IA de Tesla, relevant directement de Musk.

Passion pour l'éducation

En fait, lors de précédents changements de carrière, Karpathy avait déjà exprimé son intérêt à « rejoindre le secteur de l'éducation ».

Karpathy a quitté Tesla en juillet 2022. Dans une interview de suivi, il a déclaré que c'était une décision difficile. Bien que Tesla n’ait pas encore pleinement mis en œuvre la conduite autonome, l’équipe R&D a pu se développer de manière autonome. Cette démission lui a également donné l'occasion de reconsidérer son amour pour l'intelligence artificielle, l'open source et l'éducation.

Huit mois après avoir quitté son emploi, en février 2023, Karpathy a annoncé qu'il rejoindrait à nouveau OpenAI. Au cours de cette période, en plus de terminer des travaux de recherche sur OpenAI, Karpathy a également travaillé sur certains projets personnels, notamment l'enregistrement de vidéos éducatives, le développement d'un projet open source sur Llama 2 - llama2.c, etc.

Après la lutte interne à OpenAI en février de cette année, Karpathy a de nouveau démissionné d'OpenAI et a travaillé sur certains cours open source.

Aujourd’hui, je me consacre officiellement à la carrière éducative que j’aime. Nous pouvons nous attendre à ce que Karpathy apporte davantage d'excellentes ressources de cours au domaine de l'IA.

Pour en savoir plus sur les projets de cours de Karpathy, voir Lectures approfondies.