nouvelles

01.

la conduite autonome est très similaire à l'agi

sarah guo :que pensez-vous du développement de la conduite autonome aujourd’hui ? dans combien de temps verrons-nous la conduite autonome se généraliser ?

andreï karpathy : je travaille dans le domaine de la conduite autonome depuis 5 ans et je trouve ce domaine très intéressant. à en juger par l'évolution actuelle de ce domaine, la conduite autonome et l'agi sont très similaires. c'est peut-être aussi parce que je connais le domaine de la conduite autonome, mais je sens que nous sommes proches de l'agi dans le domaine de la conduite autonome. par exemple, il existe déjà des produits formed qui peuvent être utilisés par les utilisateurs moyennant des frais. waymo est maintenant très courant à san francisco et de nombreuses personnes en ont fait l'expérience. je fais moi-même souvent l'expérience de waymo et c'est devenu un produit commercial.

ma première expérience avec waymo a eu lieu il y a presque 10 ans. un ami travaillait pour waymo à l'époque et il m'a emmené faire un tour waymo dans tout le quartier. d'un point de vue technique, waymo il y a 10 ans. c'est déjà très bien, mais le processus depuis la démo jusqu'à devenir un produit déployé à grande échelle dans les villes a pris 10 ans. bien sûr, waymo est toujours en expansion aujourd'hui.

elad gil :il a fallu 10 ans entre la démonstration et le succès du produit payant. dans quelle mesure est-ce dû à la réglementation ? quand pensez-vous que la technologie de conduite autonome sera prête ?

andreï karpathy :je pense que la conduite autonome a atteint un niveau assez mature il y a 10 ans, mais une démo de 30 minutes ne peut pas démontrer pleinement tous les défis auxquels ils ont été confrontés au cours des 10 dernières années. il y a un grand écart entre la démo et le produit réel. bien sûr, il y aura des raisons réglementaires.

mais je pense que nous avons atteint dans une certaine mesure l’agi dans le domaine de la conduite autonome. dans le même temps, il existe un grand écart entre la démonstration et la promotion à l’échelle mondiale.bien que waymo puisse déjà opérer à san francisco, il n’a pas encore eu un impact ni des résultats très substantiels du point de vue de sa vulgarisation sur le marché mondial. c’est là que je pense que l’agi et la conduite autonome sont similaires.

revenons au domaine de la conduite autonome,beaucoup de gens pensent que waymo est technologiquement en avance sur tesla, mais je pense personnellement que tesla est en fait plus en avance que waymo. ce point de vue n'est peut-être pas le même que celui de la voix dominante actuelle, mais j'ai confiance dans la conduite autonome de tesla.

tesla est confronté à des problèmes au niveau logiciel, tandis que les défis de waymo proviennent du matériel. en comparaison, les problèmes logiciels sont plus faciles à résoudre. tesla a déployé des véhicules à grande échelle dans le monde entier, alors que waymo n'a pas encore atteint cette échelle. par conséquent, je pense qu'une fois que le système de tesla pourra être mis en œuvre à grande échelle et fonctionner efficacement, les résultats seront étonnants. je viens de tester la dernière version de fsd hier et l'expérience de conduite a été très fluide. une série d'opérations du système de conduite autonome de tesla me donne l'impression que tesla a obtenu aujourd'hui d'assez bons résultats en matière de conduite autonome.

dans l'ensemble, je pense que le plus grand défi pour la conduite autonome de tesla réside dans la perspective logicielle, tandis que les défis de waymo viennent davantage du point de vue matériel. du point de vue actuel, waymo semble être dans une position de force, mais je pense que si vous le regardez sur une période de 10 ans, tesla sera plus en avance en termes d'échelle et de modèle de revenus.

elad gil :combien de temps pensez-vous qu’il faudra pour résoudre un problème logiciel ? vous venez de mentionner que les véhicules de waymo disposent de nombreux lidars et capteurs coûteux. ce matériel prend en charge le système logiciel. si, comme tesla, il s'appuie uniquement sur le système de caméra, il peut non seulement réduire considérablement les coûts, mais également réduire la complexité du système. système, et applicable à plus de modèles. quand ce changement sera-t-il probablement réalisé ?

andreï karpathy : j’espère personnellement que ce problème sera résolu dans les prochaines années. en fait, tesla a également utilisé de nombreux capteurs coûteux pendant la phase de formation et a également développé de nombreuses technologies qui ne peuvent pas être promues à grande échelle, comme le sans fil.recherche de modèles de confiance de capteurs de ligne et cartographie cartographique, etc.au cours de la phase de test, tesla a rationalisé ces données dans un package de test reposant uniquement sur le système de vision et l'a déployé sur des véhicules de production. beaucoup de gens ne réalisent peut-être pas qu’il s’agit en réalité d’un « arbitrage » très intelligent entre les capteurs et les coûts. étant donné que la caméra peut capturer suffisamment d’informations, le réseau neuronal est également capable de traiter ces informations. lors de la phase de formation, ces capteurs sont très utiles, mais lors de la phase de test, leur rôle n’est pas si important. je pense donc qu’il suffit de se fier à l’appareil photo.

elad gil : une tendance récente dans le domaine de la conduite autonome consiste à passer progressivement des algorithmes heuristiques conçus sur la base de cas extrêmes à l'apprentissage profond de bout en bout. quelles en sont les raisons et la logique ?

andreï karpathy : de bout en bout, c'est en fait ce que nous voulions faire depuis le début. lorsque j’ai rejoint tesla pour la première fois, nous avions discuté du fait que les réseaux de neurones remplaceraient à terme l’ensemble de la pile technologique. il y avait beaucoup de code c++ dans le système à cette époque, mais aujourd'hui, il y a très peu de code c++ exécuté dans le package de test. les réseaux de neurones les ont progressivement remplacés. au début, les réseaux de neurones n'étaient utilisés que pour le traitement de la reconnaissance d'images, puis ils ont été étendus pour traiter plusieurs images et générer des résultats de prédiction. au fil du temps, les codes c++ ont été progressivement remplacés. en fin de compte, le système n’a qu’à donner des instructions de conduite et le réseau neuronal peut afficher les résultats.

ce que fait tesla, c’est donc une conduite ia de bout en bout, mais waymo n’a probablement pas choisi cette voie technique. bien qu'ils aient essayé, les résultats ne sont pas satisfaisants.

je crois personnellement que l'itinéraire de bout en bout est correct et constitue la direction inévitable du développement futur.si vous le regardez sous cet angle, le système tesla dans dix ans est susceptible de se développer en un réseau neuronal de bout en bout, qui émet directement des instructions de conduite après l'entrée du flux vidéo. bien entendu, ce processus nécessite l’amélioration progressive de chaque module du système. je ne pense pas que toutes les prédictions intermédiaires actuelles soient trompeuses dans le processus de développement ; au contraire, elles constituent une partie importante du système. car lors de la formation d'un réseau neuronal entièrement de bout en bout, les signaux de supervision pour simuler la conduite humaine sont très limités et ne peuvent pas prendre en charge la formation d'un réseau aussi vaste. les prédictions intermédiaires peuvent aider à développer des fonctionnalités et des détecteurs, rendant ainsi le problème de bout en bout plus réalisable. je suppose donc qu'ils effectuent beaucoup de pré-formation pour permettre un réglage fin de bout en bout à l'avenir.

dans l’ensemble, je pense que le processus de remplacement de l’ensemble de la pile technologique par les réseaux de neurones est nécessaire, mais le processus doit être progressif. les tentatives actuelles de tesla ont donné de premiers résultats, rendant les gens pleins d'attentes pour l'avenir.

02.

tesla est aussi une entreprise de robotique

sarah guo : avant de quitter tesla, vous avez également participé au projet de robot humanoïde de tesla. de la conduite autonome aux robots, quelles technologies peuvent être transférées ?

andreï karpathy : en principe, toutes les technologies peuvent être migrées. mais je pense que les gens ne s’en rendent peut-être pas encore compte.il n’y a pas beaucoup de différence entre les robots et les voitures. je pense que le simple fait de comprendre tesla en tant que constructeur automobile est en fait une mauvaise compréhension de celui-ci.

tesla est en fait une grande entreprise de robotique qui produit non seulement des voitures, mais aussi des machines automatisées. la production de masse est un domaine très différent et je pense que tesla est une entreprise spécialisée dans la robotique à grande échelle.

la migration de la technologie automobile vers la robotique humanoïde ne nécessite pas beaucoup de travail supplémentaire. en fait, le premier robot optimus pensait même qu’il s’agissait d’une voiture car il utilisait exactement le même ordinateur et les mêmes caméras qu’une voiture. fait intéressant, nous exploitions un réseau neuronal conçu pour les voitures sur le robot, et lorsque le robot se promenait dans le bureau, « l'espace de conduite » qu'il identifiait devenait en fait un « espace accessible à pied ». même si quelques ajustements sont nécessaires, cela démontre la polyvalence de la technologie.

sarah guo : d'un certain point de vue, tesla peut en effet être considérée comme une entreprise de robotique, et de nombreuses technologies de base peuvent être migrées entre plates-formes. l’élément clé qui manque aux robots de production est en fait le mécanisme d’exécution et les données d’action associées.

andreï karpathy : oui, même si certains endroits ne sont pas encore parfaits, je tiens à souligner que de nombreuses technologies peuvent être directement migrées. par exemple, le projet optimus a démarré très rapidement après l’annonce du projet par elon musk, les équipes et les outils concernés ont été rapidement mis en place. les ressources telles que les modèles cao, les chaînes d'approvisionnement, etc. ont été rapidement préparées. à cette époque, j’avais l’impression que tesla disposait déjà en interne d’une grande richesse de ressources de fabrication de robots, qui provenaient toutes des voitures tesla. ce sentiment est quelque peu similaire à ce qui est montré dans "transformers". une fois la voiture transformée en robot, tout est pareil, mais certaines choses doivent être légèrement ajustées et reconfigurées. en plus du matériel, toute la façon de penser, les équipes d'annotation, la coordination entre les différentes sections des composants, etc. vont changer. mais en général, certaines expériences et ressources peuvent être transférées.

elad gil :selon vous, quel sera le premier scénario d’application des robots humanoïdes ?

andreï karpathy : beaucoup de gens pensent que les robots peuvent nous aider dans les tâches quotidiennes comme faire la lessive. mais je pense qu’il faudra peut-être beaucoup de temps pour que ces technologies soient réellement mises en œuvre. je ne pense pas que la vente directe au consommateur soit un bon point de départ pour les robots humanoïdes, car nous ne pouvons toujours pas garantir pleinement la sécurité des robots lorsqu'ils interagissent avec des personnes telles que les personnes âgées, par exemple en évitant des accidents tels que "renverser le vieille dame", ce genre de situation entraînera d'énormes risques juridiques, donc je pense que cette direction n'est pas appropriée. même dans de nombreux scénarios d’interaction simples, les robots sont susceptibles de renverser directement les gens.

mais la technologie actuelle n’est pas suffisamment mature et doit encore être améliorée. par conséquent, je pense que pour les développeurs de robots, le meilleur client dans la première étape est le robot lui-même. si les développeurs de robots peuvent s'en rendre compte, la première chose à faire est d'utiliser ces technologies en interne pour l'incubation, puis de les appliquer dans les usines. , comme la manutention du matériel, etc., de sorte qu'il n'est pas nécessaire de signer un contrat avec un tiers, évitant ainsi le processus fastidieux impliquant des avocats et des contrats.

après une incubation interne et un succès, vous pouvez entrer sur le marché b et coopérer avec certaines entreprises possédant de grandes entreprises d'entrepôt pour effectuer des tâches telles que la manutention. dans le cadre de ces coopérations, les entreprises de robotique peuvent créer un système de sécurité du marché et, après une mise en œuvre réussie par plusieurs entreprises, elles peuvent progressivement passer à des applications orientées consommateur. je pense que nous verrons de nombreux robots développés pour les consommateurs à l'avenir. par exemple, les produits développés par unitree valent la peine d'être attendus. j'aimerais moi-même acheter un unitree g1.

lorsque les robots seront populaires dans divers scénarios, il y aura un écosystème complet, c'est-à-dire que chacun développera différents types de robots basés sur la plate-forme robotique. mais du point de vue de l’échelle, je pense que la voie d’avancement progressif est la plus raisonnable.

il peut commencer par gérer certains travaux liés à la manutention (manutention des matériaux), puis s'étendre progressivement à des domaines plus spécialisés et à forte demande. un article qui m’intéresse particulièrement personnellement est le « souffleur de feuilles ». par exemple, un jour, nous pourrons voir des robots optimus marcher dans les rues et ramasser délicatement chaque feuille tombée, de sorte que nous n'aurons plus besoin d'utiliser des souffleurs de feuilles. je pense que c'est un excellent projet et j'espère qu'il pourra devenir un premier scénario d'application.

sarah guo : en termes de forme de robot, certaines personnes pensent que les robots humanoïdes seront un meilleur choix, car de nombreuses conceptions dans le monde physique d'aujourd'hui sont basées sur les habitudes de comportement humain, de sorte qu'un modèle de développement de forme matérielle unifiée basé sur des robots humanoïdes peut accomplir de plus en plus de tâches. . selon un autre point de vue, les robots humanoïdes ne sont pas nécessairement la seule réponse aux robots universels. que pensez-vous de ce problème ?

andreï karpathy : je pense que beaucoup de gens sous-estiment en fait la complexité des coûts fixes des différentes plates-formes robotiques. chaque plate-forme robotique nécessite un coût fixe élevé, donc l'itinéraire d'un robot universel sera plus raisonnable. nous effectuerons diverses tâches sur la base d'une plate-forme unifiée. tentative.

je pense donc que les robots humanoïdes ont un grand potentiel et que les humains peuvent facilement les contrôler à distance pour faciliter la collecte de données. en même temps, tout comme l’une des perspectives que vous venez de mentionner, le monde entier tourne autour du comportement et des habitudes humaines, ce qui constitue une autre raison pour laquelle les robots humanoïdes sont importants.

bien sûr, il pourrait y avoir divers changements dans les robots humanoïdes à l'avenir, mais pour toute nouvelle plate-forme robotique, le coût fixe est une question importante qui doit être prise en compte.

je tiens également à souligner que vous gagnerez davantage en partageant des informations et en apprenant les uns des autres entre les différentes tâches.

dans le domaine de l'ia, nous souhaitons construire un réseau neuronal capable de gérer plusieurs tâches et d'apprendre les uns des autres à travers plusieurs tâches afin d'améliorer le niveau d'intelligence global. la chose intéressante à propos des modèles de langage est qu’ils servent de modèles multitâches pour le traitement du texte, capables de gérer de nombreux types de problèmes différents tout en partageant également des informations entre ces tâches. mais toutes ces tâches sont en réalité réalisées via un seul réseau neuronal.

de même, nous espérons que les données collectées lors de la tâche de cueillette des feuilles vous aideront à accomplir d'autres tâches, mais si vous développez un système spécifiquement pour une tâche spécifique, votre marge bénéficiaire peut être réduite.

sarah guo : les robots comme unitree g1 coûtent actuellement environ 300 000 dollars américains. il semble que le domaine des robots humanoïdes soit actuellement parvenu à un faible coût., appartement fonctionnelc’est difficile à équilibrer, mais si nous adoptons une structure à roues et ajoutons un bras robotique pour accomplir des tâches spécifiques, n’aurions-nous pas plus de chances de réaliser un robot polyvalent plus rentable ?

andreï karpathy :d’un point de vue matériel, il est logique de rechercher des plates-formes polyvalentes moins chères. dans certaines circonstances, il peut s'avérer plus efficace d'utiliser des roues et d'autres structures plutôt que des pieds pour accomplir des tâches, mais je pense que cela peut être la recherche d'une solution optimale locale. à long terme, je pense qu’il est probablement plus sage de choisir une forme et de la peaufiner à la perfection. et d’un point de vue psychologique humain, les avantages des robots humanoïdes seront plus évidents. ils semblent familiers et donnent envie d’interagir avec eux.

bien sûr, compte tenu de l’étrange effet de vallée, les formes abstraites seront peut-être plus populaires auprès des utilisateurs. parce que je ne suis pas sûr de la façon dont les gens réagiront aux différentes formes de robots. si nous nous retrouvons avec un monstre à huit roues pour faire le travail, je ne suis pas sûr que les gens l'apprécieront ou auront plus peur.

elad gil : les chiens mécaniques sont également une voie de forme, et les chiens sont également des formes plus familières aux humains.

andreï karpathy :oui, mais de nombreuses personnes qui ont regardé "black mirror" peuvent combiner des chiens mécaniques avec certaines scènes d'horreur, donc l'acceptation psychologique de chacun sera différente. en comparaison, la forme humanoïde peut être plus facile à accepter pour les gens. ses fonctions et ses comportements.

elad gil :si nous voulons parvenir à une forme humanoïde, quelles avancées clés devons-nous réaliser d’un point de vue technique ?

andreï karpathy : je ne pense pas qu'il y ait encore de réponse claire à cette question. l'une des discussions les plus intéressantes ici est que dans la conception des robots humanoïdes, le bas du corps n'est pas adapté à l'apprentissage par imitation. cette partie implique un contrôle pendulaire plus inversé. pour le haut du corps (le haut du corps), elle repose davantage sur la télécommande. , la collecte de données et l'apprentissage de bout en bout. dans un certain sens, les systèmes robotiques doivent rassembler plusieurs technologies, mais je ne suis pas encore sûr de la manière dont ces systèmes fonctionnent les uns avec les autres.

elad gil : en communiquant avec certaines personnes dans le domaine de la robotique, j'ai constaté qu'elles étaient très préoccupées par des questions telles que la transmission de puissance, le contrôle et la manipulation numérique.

andreï karpathy : oui, je pense qu’au début, il y aura effectivement de nombreux scénarios de contrôle à distance, comme laisser des robots imiter des humains ramasser des objets au sol, jusqu’à ce que le système puisse fonctionner de manière autonome 95 % du temps. augmentez ensuite progressivement la proportion de travail robotisé, permettant aux humains de passer du statut d'opérateur à celui de superviseur.

en fait, je pense qu’il n’y a pas d’obstacles techniques particuliers, mais plutôt qu’il y a beaucoup de travail de base à faire.nous disposons déjà des outils et des ressources appropriés, comme l'architecture transformer. une telle technologie est comme un excellent « coordinateur ». il nous suffit de préparer les bonnes données, de former et d'expérimenter, et enfin de mettre en œuvre le déploiement. bien que le processus soit compliqué, il n’existe en réalité pas beaucoup de goulots d’étranglement techniques essentiels.

03.

données synthétiques, petits modèles, entreprises llm

sarah guo : où pensez-vous que nous en sommes en termes de recherche sur les large blobs ?

andreï karpathy : j’ai l’impression que nous sommes actuellement dans une phase de développement rapide. transformer n'est pas seulement un réseau neuronal, mais un réseau neuronal puissant et polyvalent.

par exemple, lorsque tout le monde discute de la loi d’échelle, on fait souvent référence aux caractéristiques de l’architecture du transformer. avant transformer, les gens utilisaient principalement des lstm empilés pour effectuer certains travaux, mais aucune loi d'échelle claire n'était trouvée. transformer est le premier modèle qui rend cela clair et évolue efficacement.

transformer est comme un ordinateur général, plus précisément un ordinateur neuronal différenciable (dnc). nous pouvons lui faire effectuer des entrées et des sorties à très grande échelle, et entraîner cet ordinateur via la méthode de rétropropagation,à terme, il deviendra un système d’accomplissement de mission auto-évolutif.

bien que transformer soit un miracle que nous avons découvert accidentellement dans le domaine des algorithmes, il cache en effet de nombreuses innovations clés, telles que les connexions résiduelles, les normalisations de couches et les blocages d'attention. contrairement aux méthodes traditionnelles, transformer n'utilise pas de fonctions d'activation non linéaires qui font disparaître les gradients, mais intègre des technologies innovantes comme mentionné dans leurs documents techniques, ce qui améliore considérablement l'efficacité et les performances de la formation.

sarah guo :au cours de cette période, des discussions ont eu lieu sur le mur de données et le coût de la mise à l'échelle du modèle de nouvelle génération sera extrêmement élevé. que pensez-vous des problèmes de données ?

andreï karpathy : c'est ce dont nous avons discuté depuis le début. je pense que l'architecture des réseaux de neurones elle-même n'est plus un goulot d'étranglement aujourd'hui, même si avant la naissance de transformer, les problèmes d'architecture étaient désormais un obstacle. les nouveaux goulots d'étranglement se concentrent principalement sur la fonction de perte et l'ensemble des données.par conséquent, de nombreuses entreprises et chercheurs ne se concentrent plus sur les changements dans l'architecture du transformer. par exemple, llama n'a pas d'innovation architecturale particulièrement évidente. le seul changement majeur pourrait concerner les "codages de position rotationnels" (codages de position rope).transformer lui-même n'a pas beaucoup changé au cours des cinq dernières années. tout le monde se concentre uniquement sur l'innovation en matière de formation, d'ensembles de données et de fonctions de perte basées sur les bases existantes.

sarah guo :lorsqu’il n’y aura pas suffisamment de données sur internet, allons-nous commencer à utiliser des données synthétiques ou des méthodes similaires plus coûteuses de collecte de données ?

andreï karpathy : actuellement, de nombreuses recherches se concentrent sur les modèles de langage. bien que les données internet ne constituent pas la source de données la plus idéale pour transformer, elles peuvent être utilisées comme outil pour améliorer continuellement les capacités du modèle. les données internet ne sont qu’un ensemble de pages web, mais ce qui est vraiment précieux, c’est ce qu’il y a dans notre cerveaumonologue intérieur»——ces trajectoires de réflexion complexes et profondes.

si nous pouvons avoir des milliards de données similaires à des « pistes de pensée », alors nous pourrions être proches de l'agi dans une certaine mesure. mais ces données n'existent pas actuellement, c'est pourquoi les recherches actuelles se concentrent principalement sur la réorganisation des ensembles de données existants dans un format similaire au « monologue intérieur (monologue intérieur) ». c'est l'importance des données synthétiques. les modèles d'aujourd'hui peuvent nous aider à générer la prochaine génération de modèles. il s'agit d'un processus de progrès itératif continu, tout comme gravir une échelle, se rapprochant pas à pas de l'objectif.

elad gil：quelle est l’utilité des données synthétiques ? comme vous l'avez dit, chaque modèle peut nous aider à former le modèle suivant, ou au moins fournir des outils pour des tâches telles que l'annotation de données, dont une partie peut être des données synthétiques.

andreï karpathy : je pense que les données synthétiques sont essentielles pour améliorer les capacités du modèle.mais soyez prudent lorsque vous utilisez des données synthétiques, car le modèle « s’effondre » sans qu’on sache quand. par exemple, lorsque nous demandons à chatgpt de nous raconter des blagues, si nous essayons encore quelques fois, nous nous rendrons compte qu'il ne connaît peut-être que 3 blagues. bien qu'il semble en savoir beaucoup, en fait, il n'en connaît que quelques-unes. effondrement" ", c'est-à-dire qu'il n'y a pas de problème avec une seule sortie, mais si la sortie dans cette direction spécifique, la diversité et la flexibilité du modèle sont considérablement réduites, c'est un problème lors de la génération de données, en particulier lors de la génération de données synthétiques, il est facile de « s'effondrer ». la situation est due au fait que nous avons en fait besoin de la diversité et de la richesse des données, c'est-à-dire de « l'entropie », pour éviter les problèmes causés par un ensemble de données trop unique.

par exemple, quelqu'un a publié un ensemble de données relatives aux personnages contenant 1 milliard d'arrière-plans de personnages fictifs, tels que « je suis enseignant » ou « je suis un artiste, je vis ici, je fais ce travail », etc.lors de la génération de données synthétiques, vous le laissez imaginer le processus d'interaction avec une personne spécifique. cela peut donner au modèle plus d'espace à explorer, produisant ainsi plus d'informations et augmentant la diversité de l'ensemble de données.par conséquent, nous devons injecter soigneusement l’entropie tout en maintenant la stabilité de la distribution des données, ce qui constitue le plus grand défi dans la génération de données synthétiques.

sarah guo :selon vous, que pouvons-nous apprendre de cette recherche sur la cognition humaine ? par exemple, certaines personnes pensent que comprendre le processus de formation des trajectoires de pensée nous aidera à comprendre le fonctionnement du cerveau.

andreï karpathy :les modèles de recherche et la cognition humaine sont deux choses complètement différentes, mais dans certains cas, ils peuvent être comparés. par exemple, je pense que transformer est plus fort que le cerveau humain à certains égards et que le modèle est un système plus efficace que le cerveau humain, mais en raison des limitations des données, leurs performances actuelles ne sont pas aussi bonnes que celles du cerveau humain. mais ce n’est qu’une explication approximative.

par exemple, en termes de capacités de mémoire, les transformers fonctionnent mieux que le cerveau humain lors du traitement de longues séquences. si vous lui donnez une séquence et lui demandez d'effectuer un calcul avant et arrière, il peut se souvenir des parties avant et arrière de la séquence et terminer la tâche, ce qui est difficile à faire pour la mémoire humaine. par conséquent, à certains égards, je pense que la méthode d'entraînement basée sur l'optimisation du gradient est en effet plus efficace que le cerveau humain, et même à l'avenir, le modèle pourrait vraiment surpasser les humains à certains niveaux cognitifs.

elad gil :la capacité mémoire est l’un des points forts des ordinateurs.

andreï karpathy : oui, je pense que le cerveau humain a en réalité de nombreuses limitations. par exemple, la capacité de la mémoire de travail est très limitée, alors que celle des transformers est beaucoup plus grande en comparaison, et l'écart entre eux continue de se creuser. de plus, les transformers apprennent plus efficacement. le fonctionnement du cerveau humain est limité par de nombreux facteurs cachés, tels que l'expérience, la responsabilité, l'environnement, etc., ce qui rend le système cérébral humain plus aléatoire et limité. par conséquent, j’ai l’impression que, à certains égards, ces modèles sont déjà plus puissants que le cerveau humain, mais qu’ils n’ont pas encore atteint leur plein potentiel.

elad gil :concernant la relation entre les humains et l’ia, un argument est que nous l’utilisons comme un outil externe, tandis que d’autres affirment qu’il y aura une intégration plus profonde des humains et des modèles d’ia. que pensez-vous de ce problème ?

andreï karpathy : je pense que nous avons réussi, dans une certaine mesure, à intégrer les humains et l'ia. les outils techniques ont toujours été un dérivé des capacités humaines. comme on le dit souvent, « les ordinateurs sont les vélos du cerveau humain ». c’est simplement que le problème des modèles actuels réside dans le goulot d’étranglement dans le processus d’entrée et de sortie des informations, de sorte que l’intégration des humains et de l’ia nécessite encore des efforts continus. cependant, une fois les modèles perfectionnés, leur utilisation est très simple et peut être réalisée en quelques gestes simples. ainsi, même s’il existe quelques obstacles, la technologie actuelle a rendu cette intégration relativement facile et réalisable.

elad gil :certaines personnes dans le domaine de l'ia pensent ques'il y a un conflit entre nous et ai à l'avenir, ce n'est pas grave.

résolu par une certaine forme de fusion des humains et de l’ia.

andreï karpathy : oui, cela ressemble beaucoup à la philosophie de neuralink. même si je ne sais pas exactement à quoi ressemblera cette fusion, ce qui est clair, c'est que nous voulons réduire la latence d'entrée et de sortie entre les humains et les outils. vous pouvez considérer cela comme l’ajout d’un nouveau cortex à notre cortex cérébral. ce nouveau cortex peut être basé sur les nuages ​​et constitue essentiellement la couche suivante du cerveau.

elad gil : exister accélérer le livre part d’un principe similaire, où tout est transmis au cerveau via des lunettes intelligentes portables. si vous perdez ces lunettes, c'est comme perdre une partie de votre personnalité ou de votre mémoire.

andreï karpathy : je pense que cela est susceptible d'arriver. les téléphones mobiles d’aujourd’hui font presque désormais partie de nos vies, comme un appareil externe au cerveau. chaque fois que nous posons notre téléphone, nous avons l'impression de revenir à notre état d'origine.

pour un autre exemple, si nous disposons d'un « traducteur universel » et que nous l'utilisons pendant une longue période, lorsque nous ne l'avons soudainement plus, nous risquons de perdre la capacité de communiquer directement avec des personnes qui parlent des langues différentes. comme le montre une vidéo, un enfant tient un magazine et essaie de le faire glisser avec son doigt. il ne peut pas distinguer ce qui est naturel de ce qui est provoqué par la technologie. cela me fait penser qu’à mesure que la technologie devient de plus en plus omniprésente, les gens peuvent devenir dépendants de ces outils, pour ensuite se rendre compte qu’ils ne peuvent pas dire ce qu’est la technologie et ce qui ne l’est pas jusqu’à ce qu’ils disparaissent. en particulier, les appareils tels que les traducteurs qui vous aident toujours à accomplir vos tâches réduiront considérablement la sensibilité des gens aux frontières entre la technologie et la nature.

sarah guo : l'« exocortex » semble être une chose très importante, et elle l'est pour tout le monde. aujourd’hui, la recherche llm est dirigée par quelques laboratoires d’ia, et eux seuls disposent des ressources nécessaires pour promouvoir le développement de formations sur modèles de nouvelle génération. que pensez-vous de cette structure dans la recherche llm aujourd’hui ? quel impact cela aura-t-il sur la popularité de la technologie de l’ia à l’avenir ?

andreï karpathy : l’écosystème du llm est en effet aujourd’hui monopolisé par plusieurs plateformes fermées, tandis que le meta llama, moins bien classé, est relativement ouvert. ce phénomène est aussi dans une certaine mesure le reflet de l’écosystème open source. lorsque nous considérons le llm comme la « couche externe », les questions de confidentialité des informations et des données sont impliquées. il y a un dicton dans le domaine du cryptage qui dit "pas vos clés, pas vos jetons". peut-être qu'à l'avenir, dans le domaine llm, nous mettrons l'accent sur "pas vos poids, pas votre cerveau". si l’ia est le nouveau cortex cérébral pour tout le monde à l’avenir, et si ce cortex est contrôlé par une certaine entreprise, les gens auront le sentiment de « louer » un cerveau au lieu de le posséder réellement.

sarah guo : êtes-vous prêt à abandonner la propriété et le contrôle de votre propre cerveau pour en louer un plus puissant ?

andreï karpathy : je pense qu'il s'agit d'un compromis crucial. la tendance future pourrait être que la plupart des gens utiliseront le puissant modèle source fermé comme option par défaut, mais dans certains cas spécifiques, les systèmes open source deviendront l'alternative. tout comme aujourd'hui, lorsque certains fournisseurs de modèles fermés rencontrent des problèmes avec leurs api, les gens se tournent vers l'écosystème open source et se sentent donc plus en contrôle.

cela pourrait également être la direction du développement futur de la technologie du cerveau : lorsque des problèmes surviennent, nous pouvons passer à des systèmes open source, alors que dans la plupart des cas, nous nous appuyons toujours sur des systèmes fermés. il est important de faire progresser les systèmes open source, mais aujourd’hui, tout le monde n’est peut-être pas conscient de ce problème.

elad gil :que pensez-vous des miniatures ? quel niveau de performances les petits modèles d’aujourd’hui peuvent-ils atteindre ?

andreï karpathy : je pense que le modèle pourrait être encore plus petit. en raison du problème avec l'ensemble de données, nous pensons que le modèle actuel gaspille beaucoup de capacité en stockant certaines informations non pertinentes. la clé d'un petit modèle est de se concentrer sur la cognition de base, et ce noyau peut en fait être très petit. il s'agit plutôt d'une façon de penser. lorsque nous avons besoin de trouver des informations, nous pouvons utiliser de manière flexible divers outils pour les obtenir, plutôt que de laisser le modèle stocker de nombreux détails inutiles.

en termes de paramètres, je pense que nous n’aurons besoin que de 100 millions de paramètres pour atteindre notre objectif. une technologie de compression efficace peut rendre le modèle très petit. le principe de la compression est simple : utiliser un très grand modèle ou une grande quantité de ressources informatiques pour superviser un modèle plus petit. ce processus peut intégrer de nombreuses fonctionnalités dans le petit modèle.

l'essence de ce problème est que les grands modèles actuels traitent des ensembles de données internet, et seulement environ 0,001 % du contenu est lié à la cognition, et les 99,99 % restants sont en fait des informations non pertinentes, telles que le droit de copie du texte. la plupart des informations ne jouent pas un rôle substantiel dans l’amélioration des schémas de pensée.

elad gil :ce processus peut-il être expliqué par les mathématiques ou par une sorte de théorie informatique ? la relation entre la taille du modèle et la puissance cognitive peut-elle être quantifiée ? par exemple, à l’avenir, seul un modèle d’un milliard de paramètres pourrait être nécessaire pour parvenir à une bonne compréhension.

andreï karpathy : cela peut même coûter moins d'un milliard, et le modèle peut avoir ce type de capacité cognitive, en tenant compte du coût du modèle, de l'équipement final, etc. et ce dont nous allons discuter n’est peut-être pas un modèle cognitif unique. je pense que le modèle devrait avoir la capacité de traiter en parallèle, plutôt que de s’appuyer uniquement sur un traitement séquentiel. c'est comme une entreprise, beaucoup de travail peut être fait en parallèle, mais une structure hiérarchique est aussi nécessaire pour mieux traiter l'information. par conséquent, je pense qu'il pourrait y avoir un modèle d'« entreprises pour les llm » à l'avenir : différents modèles se concentrent sur leurs domaines respectifs, comme l'un est un modèle de programmeur et l'autre est un modèle de chef de projet. parallèles, et entre eux. ils peuvent également collaborer pour former un « cerveau de groupe » composé de llm.

elad gil :ce cluster de llm est comme un écosystème dont chaque partie a sa propre expertise et sa propre position.

andrej karpathy : je pense que l'avenir évoluera certainement dans cette direction. le modèle cloud est le plus intelligent et peut être considéré comme le pdg. il existe de nombreux modèles moins chers et open source qui sont employés dans ce groupe. les tâches sont automatiquement escaladées et attribuées à d'autres parties du groupe.

04.

l'éducation à l'ère de l'ia

sarah guo :vous avez commencé à travailler sur votre propre projet éducatif après avoir quitté openai. pourquoi avez-vous choisi l'éducation ?

andreï karpathy : j'ai toujours aimé le secteur de l'éducation, j'aime apprendre et enseigner et je suis très passionné par ce domaine.

une raison importante qui m’a poussé à me lancer dans ce domaine est que j’ai l’impression que de nombreuses ia tentent de remplacer les humains, entraînant la perte de leur emploi. je suis cependant plus intéressé par les technologies qui peuvent améliorer les capacités humaines. dans l’ensemble, je me tiens du côté de l’humanité et j’espère que l’ia pourra aider l’humanité à devenir plus puissante plutôt que marginalisée.

de plus, je pense que c'est une très bonne idée d'avoir un « tuteur parfait » capable d'accomplir des tâches de tutorat dans toutes les matières. si tout le monde dispose d'un tel tuteur ia pour les guider dans l'apprentissage de toutes les matières, je pense que tout le monde peut obtenir de meilleurs résultats.

elad gil : depuis les années 1980, la littérature indique clairement que le tutorat individuel peut améliorer les performances d'un individu de 2 écarts types. il existe également de nombreux cas autour des tuteurs personnalisés. comment pensez-vous que l'ia et les tuteurs peuvent être combinés ?

andreï karpathy : je m’inspire beaucoup de ces exemples. maintenant, je crée un cours complet dans le but d'en faire le premier choix pour apprendre l'ia. j'ai déjà enseigné le premier cours d'apprentissage profond de stanford. même si le nombre d'étudiants n'était que de 20 à 30, les résultats ont été bons. le défi est désormais de savoir comment étendre ce type de cours pour couvrir 8 milliards de personnes dans le monde. compte tenu des différences de langue et de capacités, cela est difficile à réaliser avec un seul enseignant.

la clé est donc de savoir comment utiliser l’ia pour élargir le rôle des bons enseignants. la tâche principale des enseignants devrait être la conception des cours et la rédaction du matériel, tandis que l'ia peut interagir avec les étudiants en amont et enseigner le contenu. l’ia actuelle ne peut pas créer des cours complets de manière indépendante, mais elle suffit à aider à expliquer et à transférer les connaissances. de cette façon, les enseignants peuvent se concentrer sur la conception back-end, tandis que l'ia utilise plusieurs langages sur le front-end pour interagir avec les étudiants et les aider à compléter leur apprentissage.

sarah guo :l’ia peut-elle être comparée à un assistant pédagogique ?

andreï karpathy : l'assistant pédagogique est l'une des directions que j'envisage. je le vois comme un frontal, interagissant directement avec les étudiants et les amenant à terminer le cours. je pense que c'est une solution réalisable avec la technologie actuelle, et il n'existe pas de produit similaire. sur le marché, donc je pense qu'il y a beaucoup de potentiel dans ce domaine, et à mesure que la technologie progresse, nous pouvons y apporter divers ajustements. je pense qu'aujourd'hui, de nombreuses entreprises n'ont pas une compréhension suffisamment intuitive des capacités des modèles et, par conséquent, les produits qu'elles développent sont trop avancés ou pas assez précis. je pense donc que ce domaine a un grand potentiel.

sarah guo : avec de bons outils, dans quelle mesure peut-on atteindre les limites des capacités humaines ? par exemple, si l’on compare cela aux jeux olympiques, en raison des progrès scientifiques et technologiques en matière d’entraînement au cours des 10 dernières années, les performances des coureurs de haut niveau sont meilleures qu’elles ne l’étaient en 10 ans.

andreï karpathy : j'ai l'impression que nous n'avons pas encore atteint tout notre potentiel aujourd'hui. nous pouvons aborder cette question sous deux angles : le premier est celui de la mondialisation, j'espère que chacun pourra bénéficier d'un niveau d'éducation élevé. le deuxième concerne les limites des capacités individuelles. les deux perspectives sont précieuses.

elad gil : habituellement, lorsque nous discutons de l'accompagnement d'apprentissage individuel, nous mentionnerons la personnalisation et l'adaptation, c'est-à-dire l'attribution de tâches de défi d'apprentissage correspondantes en fonction du niveau de chaque personne. pensez-vous que l'ia peut faire cela aujourd'hui ?

andreï karpathy : je pense que le « fruit le plus facile » dans le domaine actuel de l’enseignement de l’ia sont les applications de traduction. les modèles actuels sont très efficaces pour de telles tâches, et les choses qu’ils peuvent faire restent des tâches basiques.

il est difficile de parvenir à une personnalisation qui s'adapte au niveau de chacun, mais ce n'est pas impossible, je pense que cela devrait également être l'objectif du développement de l'ia, et elle a évidemment le potentiel de le faire. mais cela peut impliquer de nouveaux domaines. un modèle plus simple peut être mis en œuvre à travers le projet prompt, mais je pense que le moyen vraiment utile est de donner au modèle lui-même de telles capacités, afin qu'il puisse fonctionner comme un enseignant.

je pense que cela touche certains domaines qui sont actuellement sous-développés. bien que des versions simples ne soient peut-être pas loin, comme donner des indices au modèle pour obtenir de l'aide, je parle de solutions qui fonctionnent réellement, et qui ne se contentent pas d'être belles dans une démo. je parle de la capacité à travailler aussi efficacement qu'un véritable enseignant, en comprenant le contexte de chacun et en fournissant un accompagnement personnalisé, ce qui nécessite un développement ultérieur.

elad gil : peut-on réaliser cette adaptation en introduisant d’autres modèles ?

andreï karpathy : je pense que c'est aussi une caractéristique de l'ia. je pense que de nombreuses fonctions peuvent être implémentées avec une seule invite. nous voyons donc souvent beaucoup de démos, mais pouvons-nous enfin livrer un produit réel ? il n’est donc peut-être pas difficile de réaliser quelques démos, mais il reste encore un long chemin à parcourir avant de pouvoir le développer en un produit pouvant être utilisé à grande échelle.

sarah guo :il y a quelques semaines, vous avez mentionné que l'apprentissage et le divertissement sont différents. l'apprentissage doit être un défi et nécessiter un certain système d'incitation, comme le statut social, l'effet d'idole, etc. dans quelle mesure pensez-vous que le système d’incitations peut modifier la motivation des gens à apprendre ? êtes-vous davantage concentré sur la fourniture de ressources permettant aux gens d’aller aussi loin qu’ils le peuvent dans la limite de leurs capacités ? ou souhaitez-vous modifier le nombre de personnes disposées à apprendre et inciter davantage de personnes à commencer à apprendre ?

andreï karpathy :j'espère rendre l'apprentissage un peu plus facile, car certaines personnes ne sont pas naturellement intéressées par l'apprentissage. de nombreuses personnes étudient pour des raisons pratiques, par exemple pour trouver un emploi, ce qui est tout à fait logique. l'éducation joue un rôle important dans notre société car elle fournit non seulement des connaissances, mais améliore également la situation économique d'une personne. c'est pourquoi les gens veulent être motivés par l'éducation.

sarah guo :à quoi ressemblera notre avenir dans une société post-agi ?

andreï karpathy :dans l’ère post-agi, je pense que l’éducation ressemblera davantage à un divertissement. une éducation réussie ne réside pas seulement dans le transfert de connaissances, mais aussi dans la compréhension et l’application approfondies de ces connaissances.

sarah guo :qui a été le premier public d’eureka ?

andreï karpathy :le public principal de ce premier cours est constitué d'étudiants de premier cycle, en particulier ceux qui poursuivent des études dans des domaines techniques. si vous étudiez dans un cursus de premier cycle lié à la technologie, vous êtes le groupe cible idéal pour ce cours.

andreï karpathy :je pense que notre conception actuelle de l’éducation est quelque peu dépassée. l'ancienne façon d'aller à l'école, d'obtenir son diplôme et de travailler tout le temps sera brisée par les changements actuels. la technologie évolue rapidement et les gens doivent continuer à apprendre. ainsi, même si le cours s’adresse aux étudiants de premier cycle, il s’adresse en réalité à un large public. par exemple, je pense que les personnes de tout âge peuvent y participer. surtout pour ceux qui ont une formation technique et qui souhaitent approfondir leur compréhension des connaissances pertinentes, il y aura quelque chose à gagner.

je prévois d'offrir le cours plus tard cette année, le début de l'année prochaine pourrait être un moment approprié, et avant cela, je travaillerai dur pour m'assurer que la qualité du cours est à la hauteur des normes attendues.

elad gil :si vous aviez des enfants, quelles connaissances et compétences voudriez-vous qu’ils acquièrent ?

andreï karpathy :la réponse que je donnerais est celle des mathématiques, de la physique, de l’informatique et d’autres matières. ces matières fournissent en fait une formation de base pour développer la capacité de réflexion. bien sûr, cette perspective est influencée par mon parcours, mais je pense que ces domaines sont très utiles en termes de compétences en résolution de problèmes. même à l’approche de l’ère de l’agi, ces compétences resteront importantes. durant cette période critique où les gens ont beaucoup de temps et d’attention, je pense qu’il faut se concentrer principalement sur les tâches relativement simples à réaliser plutôt que sur les tâches qui demandent beaucoup de mémoire. bien que je reconnaisse également l'importance d'apprendre d'autres matières, je pense que 80 % du temps devrait être consacré à ces domaines fondamentaux car ils sont plus pratiques et ont une valeur à long terme.

composition : fia