2024-08-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Texte : Web3 Sky City·City Lord
SchmidtUn accent particulier est mis sur les facteurs complexes à l'origine du progrès technologique, tels que l'amélioration de la puissance de calcul, le développement de nouveaux algorithmes et la recherche incessante de systèmes intelligents par le marché. Il discute également de l’impact potentiel de l’IA sur les marchés du travail, la confidentialité des données, les lois antitrust et la sécurité nationale, et propose des recommandations sur la manière de conserver un avantage concurrentiel dans cet environnement en évolution rapide.
Le propriétaire de la ville a spécifiquement souligné qu'en tant que Schmidt, qui a longtemps servi le département américain de la Défense, son discours et sa position doivent être distingués, et je pense que les lecteurs seront capables de le comprendre par eux-mêmes.
Percées à court terme et impacts profonds de l’intelligence artificielle：
SchmidtIl est prévu qu'au cours des deux prochaines années, l'intelligence artificielle marquera le début d'avancées importantes, en particulier dans la combinaison de l'expansion des fenêtres contextuelles, des agents d'IA et de la conversion texte-opération. Ces avancées technologiques permettront aux systèmes d’IA de gérer des tâches complexes plus efficacement, au-delà de leurs limites actuelles. Ce type de progrès ne se limitera pas au domaine technique, mais affectera profondément tous les aspects de la société, notamment l’éducation, les soins de santé, le gouvernement et les entreprises. Il a souligné que le développement de ces technologies pourrait avoir un impact transformateur qui pourrait même être plus profond que l’essor des médias sociaux.
Le jeu entre la Chine et les États-Unis dans la compétition mondiale en science et technologie：
SchmidtUne analyse détaillée de la concurrence féroce entre les États-Unis et la Chine dans le domaine de l’intelligence artificielle. Il a souligné que les États-Unis sont actuellement à la pointe en matière de technologie, de talent et de ressources, mais que pour conserver cet avantage, ils nécessitent des investissements élevés et une coopération internationale continue, en particulier avec des alliés tels que le Canada, pour garantir un approvisionnement durable en énergie et en ressources. Il a souligné que l’avenir de l’IA n’est pas seulement une compétition technique, mais aussi un jeu stratégique entre pays, impliquant la sécurité nationale, la compétitivité économique et le leadership mondial. Schmidt a averti que les États-Unis devaient accroître leurs investissements pour faire face à l'essor rapide de la Chine dans le domaine de l'IA et maintenir leur domination mondiale dans ce domaine.
Défis de monopole et d’innovation des géants de la technologie：
En parlant de la domination actuelle des géants de la technologie,SchmidtIl est souligné que la position monopolistique d'entreprises telles que NVIDIA dans le domaine de l'IA bénéficie de leurs fortes capacités techniques et de leurs avantages financiers. Il a mentionné que même s’il existe des concurrents sur le marché, contester le statut de ces géants technologiques nécessite d’énormes investissements et innovations technologiques. Il a également exprimé ses inquiétudes quant à la manière dont ces géants continueront à promouvoir l'innovation technologique à l'avenir, estimant que le développement à forte intensité de capital de l'IA pourrait conduire à des changements fondamentaux dans le modèle de développement logiciel, passant de l'open source à la source fermée, consolidant ainsi davantage le monopole du secteur. des géants.
L'impact de l'intelligence artificielle sur la société et le marché du travail：
SchmidtL'impact potentiel de l'intelligence artificielle sur la société, l'économie et le marché du travail est exploré. Il estime que même si la technologie de l'IA peut remplacer certaines tâches répétitives, elle renforcera également l'importance des emplois hautement qualifiés et favorisera la productivité des personnes dans les tâches complexes. Il s'est également dit préoccupé par les inégalités sociales que l'intelligence artificielle pourrait engendrer, soulignant que les pays riches bénéficieraient davantage de l'IA, tandis que les pays pauvres pourraient être laissés pour compte. aussi,SchmidtAppelle à une réglementation plus stricte de l’IA pour résoudre des problèmes tels que la confidentialité des données, les droits de propriété intellectuelle et la propagation de la désinformation.
IA contradictoire et défis de sécurité：
SchmidtUne mention spéciale a été faite à la menace potentielle de l’intelligence artificielle adverse, prédisant qu’à l’avenir, des systèmes d’IA spécialement conçus pourraient être utilisés pour attaquer et détruire d’autres systèmes d’IA. Cette évolution apportera de nouveaux défis en matière de sécurité et d’éthique.SchmidtIl est recommandé que la communauté scientifique et technologique et le gouvernement coopèrent pour étudier comment prévenir ces risques et formuler des réglementations et des normes techniques correspondantes pour garantir la sécurité et la crédibilité de l'intelligence artificielle. Il a également mentionné que la recherche dans ce domaine deviendra une direction importante pour le futur développement scientifique et technologique et pourrait recevoir davantage d'attention dans les universités et les instituts de recherche.
L'ancien PDG de Google parle de la concurrence mondiale en matière d'IA : les puces américaines ont 10 ans d'avantage technologique et la Chine est le concurrent le plus important
=Version compilée en texte intégral de Web3 Sky City=
Professeur hôte :
L’invité d’aujourd’hui n’a pas besoin d’être présenté. J'ai rencontré Eric pour la première fois il y a environ 25 ans, lorsqu'il est arrivé à Stanford GSB en tant que PDG de Novell. Depuis, il a occupé des postes clés chez Google, commençant en 2001, et rejoignant Schmidt Futures en 2017. De plus, il a également participé à de nombreux autres projets, et vous pouvez consulter les informations pertinentes. Alors Eric, si vous me le permettez, je vais commencer par ça.
Tout d’abord, où pensez-vous que l’intelligence artificielle va s’orienter à court terme ? Je pense que vous définissez cela comme étant la période d'un à deux ans.
Schmidt :
Les choses changent si vite que j'ai l'impression que tous les six mois, je dois faire un nouveau discours sur ce qui s'en vient. J'ai un groupe d'étudiants en informatique ici, quelqu'un peut-il expliquer au reste de la classe "un millionjetonQu'est-ce que la « Fenêtre contextuelle » ? Veuillez la nommer et nous dire ce qu'elle fait.
étudiant:En gros, cela permet d'utiliser un million de marqueurs ou un millionLe mot invite.
Schmidt :
Vous pouvez donc poser une question d'un million de mots. Anthropic, c'est 200 000 jetons, jusqu'à 1 million, et ainsi de suite. tu peux imaginerOpenAIAyez un objectif similaire.
Quelqu'un ici peut-il donner une définition technique d'un agent IA ? Encore une fois, l'informatique.
étudiant:Un agent IA peut être quelque chose qui se comporte d’une certaine manière. Il peut s'agir d'appeler quelque chose sur le Web pour trouver des informations en votre nom. Cela pourrait être beaucoup de choses différentes dans ce sens. Il se passe toutes sortes de choses dans un processus.
Schmidt :Un agent est donc quelque chose qui exécute une sorte de tâche. Une autre définition est qu'il s'agit d'unMaîtrise en droit (LL.M.), l'état et la mémoire. Ensuite, informaticiens, l’un d’entre vous peut-il définir « du texte à l’action » ?
étudiant:Au lieu de convertir du texte en plus de texte, laissez l'IA déclencher des actions en fonction de cela.
Schmidt :
Une autre définition est le langage Python. Je ne veux jamais voir un langage de programmation survivre. Tout dans l'IA est fait en Python. Un nouveau langage vient d'émerger, appelé Mojo, et il semble qu'il ait enfin résolu le problème de la programmation de l'IA, mais nous verrons s'il peut réellement survivre à la domination de Python.
Il y a aussi un problème technique. Pourquoi NVIDIA vaut-il 2 000 milliards de dollars alors que d’autres sociétés sont en difficulté ?
étudiant:La réponse technique est que la plupart du code doit être exécuté à l'aide des optimisations CUDA qui ne sont actuellement prises en charge que par les GPU NVIDIA, afin que les autres entreprises puissent faire ce qu'elles veulent, mais vous n'aurez pas d'apprentissage automatique à moins d'avoir 10 ans d'expérience en matière d'optimisation logicielle.
Schmidt :
J'aime considérer CUDA comme un langage de programmation C pour les GPU, et je me sens à l'aise avec cette idée. CUDA a été fondée en 2008. Même si j'ai toujours pensé que c'était un mauvais langage, il a pris le dessus. Un autre point à noter : il existe un ensemble de bibliothèques open source hautement optimisées pour CUDA, ce qu'aucune autre bibliothèque ne propose. Tous ceux qui construisent ces piles technologiques passent complètement à côté de ce point de la discussion. Ces bibliothèques sont techniquement appelées VLLM, et il existe de nombreuses bibliothèques similaires qui sont également hautement optimisées pour CUDA, ce qui les rend difficiles à copier pour les concurrents.
Alors qu’est-ce que tout cela signifie ? L'année prochaine, vous verrez de très grandes fenêtres contextuelles, des agents et des applications de synthèse texte-action. Lorsque ces technologies seront déployées à grande échelle, elles auront un impact énorme sur le monde, bien au-delà de l’impact des médias sociaux. Voici pourquoi : dans la fenêtre contextuelle, vous pouvez l'utiliser comme mémoire à court terme, et j'ai été choqué par la durée de la fenêtre contextuelle. Les raisons techniques sont liées au service et aux difficultés de calcul. La chose intéressante à propos de la mémoire à court terme est que lorsque vous saisissez des informations et posez une question, par exemple lisez 20 livres et utilisez le texte des livres comme requête, puis demandez de quoi ils parlent, elle oublie la partie centrale, de la même manière que le cerveau humain fonctionne.
En ce qui concerne les agents, il y a maintenant des gens qui construisent des agents LLM en lisant et en comprenant des choses dans des domaines comme la chimie, puis en les testant et en les réintégrant dans leur compréhension. C'est très puissant. Le troisième aspect est le texte-action. Laissez-moi vous donner un exemple : disons que le gouvernement essaie d'interdire TikTok. Si TikTok est interdit, je vous suggère de dire ce qui suit à votre LLM : copiez TikTok pour moi, mettez-y mes préférences, créez cette application et publiez-la dans les 30 prochaines secondes, et dans l'heure, si elle n'a pas fait son chemin. , fais juste quelque chose comme ça. C'est l'ordre. Vous pouvez voir à quel point c’est puissant.
Si vous pouvez traduire n'importe quel langage vers n'importe quelle commande numérique, il s'agit essentiellement de Python dans ce scénario. Imaginez que tout le monde sur la planète ait ses propres programmeurs qui faisaient réellement ce qu'ils voulaient faire, par opposition à des programmeurs qui ne travaillaient pas comme prévu. Les programmeurs ici savent de quoi je parle. Imaginez un programmeur non arrogant qui fait réellement ce que vous voulez sans que vous ayez à payer un prix élevé. Et la fourniture de ces programmeurs est illimitée.
professeur:Est-ce que tout cela se produira dans un an ou deux ?
Schmidt :
bientôt. J’en suis sûr, les trois choses ci-dessus se produiront simultanément lors de la prochaine vague. Alors vous demandez ce qui va se passer d’autre. Je fluctue tous les six mois, nous sommes donc dans une oscillation impaire-pair. À l’heure actuelle, l’écart entre les modèles de pointe (il n’y en a que trois maintenant) et les autres semble se creuser. Il y a six mois, j'étais convaincu que l'écart se réduisait, j'ai donc investi massivement dans certaines petites entreprises. Cependant, maintenant, je n'en suis plus si sûr.
J'ai des conversations avec de grandes entreprises et elles me disent qu'elles ont besoin de 10 milliards de dollars, 20 milliards de dollars, 50 milliards de dollars, voire 100 milliards de dollars. Le projet Stargate nécessite 100 milliards de dollars et est très difficile. Mon bon ami Sam Altman pense que cela pourrait coûter environ 300 milliards de dollars, peut-être plus. Je lui ai fait remarquer que j'avais calculé l'énergie nécessaire.
Dans un souci de transparence, je suis allé à la Maison Blanche vendredi et je leur ai dit que nous devions être les meilleurs amis du Canada. Parce que les Canadiens sont des gens vraiment sympas, ils ont contribué à inventer l’intelligence artificielle et ils possèdent beaucoup d’hydroélectricité. Parce que nous, en tant que pays, n’avons pas assez de pouvoir pour atteindre cet objectif. Une autre option serait que les pays arabes financent le projet. Personnellement, j’aime les Arabes et j’y passe beaucoup de temps, mais ils ne respectent peut-être pas nos règles de sécurité nationale. Et le Canada et les États-Unis sont l’un des trois grands sur lesquels nous sommes tous d’accord.
Ainsi, dans ces centres de données, qui pèsent entre 100 et 300 milliards de dollars, l’électricité commence à devenir une ressource rare.
D’ailleurs, si vous suivez ce raisonnement, vous vous demanderez peut-être pourquoi je parle de CUDA et NVIDIA ? Si la totalité des 300 milliards de dollars revient à NVIDIA, vous savez quoi faire en bourse. Cependant, il ne s’agit pas d’une recommandation boursière et je ne suis pas un concédant de licence.
professeur:
En partie parce que nous aurons besoin de plus de puces, mais Intel reçoit beaucoup d’argent du gouvernement américain. AMD tente de construire une usine de fabrication en Corée du Sud.
Schmidt :
Levez la main si vous disposez d'une puce Intel dans l'un de vos appareils informatiques. Voilà pour le monopole.
professeur:
Mais c'est le point. Ils avaient un monopole autrefois, et maintenant NVIDIA a un monopole. Alors, ce sont des barrières à l’entrée ?
En parlant de CUDA, existe-t-il d’autres options ? Je parlais à Percy Lange l'autre jour. Il bascule entre les TPU et les puces NVIDIA, en fonction de ce à quoi il a accès. C'est parce qu'il n'a pas le choix.
Schmidt :
S'il disposait de fonds illimités, il choisirait aujourd'hui l'architecture B200 de NVIDIA car elle est plus rapide. Je ne dis pas cela : la concurrence est une bonne chose.
J'ai eu une longue conversation avec Lisa Su d'AMD. Ils ont construit quelque chose qui peut convertir l'architecture CUDA en la leur, appelé Rokam. Ce n'est pas encore entièrement fonctionnel, mais ils y travaillent.
professeur:
Vous avez travaillé longtemps chez Google et ils ont inventéTransformateurarchitecture. Merci aux gens formidables là-bas, comme Peter, Jeff Dean et tout le monde. À l’heure actuelle, OpenAI semble avoir perdu l’initiative. Dans le dernier classement que j'ai vu, Claude d'Anthropic était en tête de liste. J'ai demandé à Sundar, mais il ne m'a pas donné de réponse très claire. Peut-être avez-vous une explication plus précise ou objective de ce qui se passe là-bas.
Schmidt :
Je ne suis plus un employé de Google. L'accent mis par Google sur l'équilibre entre vie professionnelle et vie privée consiste davantage à permettre aux employés de rentrer chez eux plus tôt et de travailler à domicile, plutôt que de rechercher aveuglément la victoire. En revanche, les startups réussissent parce que leurs employés travaillent dur. Même si cela peut paraître un peu brutal, la réalité est que si vous démarrez une entreprise après vos études et que vous souhaitez rivaliser avec d'autres startups, vous ne pouvez pas faire venir des employés un seul jour par semaine.
L'ancien PDG de Google s'est plaint publiquement que les employés "ne travaillent pas assez dur" et ont pris du retard dans la compétition en matière d'IA parce qu'ils "ne viennent qu'un jour par semaine" et ont d'ailleurs bloqué TikTok.
professeur:Aux débuts de Google, il en était de même pour Microsoft.
Schmidt :
Il semble maintenant que dans notre industrie, depuis trop longtemps, les entreprises ont toujours gagné en étant vraiment créatives et en dominant un espace, plutôt qu'en effectuant la transformation suivante. Ceci est bien documenté. Je pense que les fondateurs sont spéciaux et qu’ils doivent garder le contrôle, même s’il peut être difficile de travailler avec eux car ils mettent beaucoup de pression sur leurs employés. Même si nous n’aimons pas les actions personnelles d’Elon, regardez ce qu’il obtient de ses employés. J'ai dîné avec lui une fois et il volait. J'étais dans le Montana et il prenait un vol à 22 heures ce soir-là pour un rendez-vous à minuit avec x.ai. Pensez-y.
Différents endroits ont des cultures différentes. Je suis impressionné par TSMC. Ils avaient pour règle que les doctorants fraîchement diplômés, bons physiciens, devaient travailler dans le sous-sol de l'usine. Pouvez-vous imaginer qu'un docteur américain en physique fasse cela ? Peu probable. C’est une éthique de travail différente.
La rigueur avec laquelle je travaille vient du fait que ces systèmes ont des effets de réseau, donc le temps presse. Et dans la plupart des entreprises, le temps n’est pas si important, vous en disposez en abondance. Coca-Cola et Pepsi-Cola existeront toujours, la concurrence entre eux se poursuivra et tout sera glacial. Lorsque je traite avec des sociétés de télécommunications, la signature d’un accord prend généralement 18 mois. Il n’y a aucune raison de prendre 18 mois pour faire quoi que ce soit, cela doit être fait le plus rapidement possible. Nous sommes dans une période de croissance et de maximisation des revenus, mais cela demande aussi des idées folles.
Par exemple, lorsque Microsoft a conclu un accord avec OpenAI, j'ai pensé que c'était l'idée la plus stupide que j'aie jamais entendue. Externaliser votre leadership en IA à OpenAI et Sam et son équipe ? C'est fou. Personne chez Microsoft ou ailleurs ne fait cela. Aujourd’hui, cependant, elles deviennent les entreprises les plus valorisées, certainement dans une position de réciprocité avec Apple. Apple n'a pas de bonne solution d'IA, mais il semble qu'ils l'aient fait fonctionner.
étudiant:
Quel rôle l’IA va-t-elle jouer en termes de sécurité nationale ou d’intérêts géopolitiques, notamment dans la concurrence avec la Chine ?
Schmidt :
En tant que président d’un comité sur l’intelligence artificielle, j’ai étudié cette question en profondeur. Nous avons rédigé un rapport d'environ 752 pages et l'avons résumé ainsi : Nous sommes actuellement dans une position de leader et devons conserver cet avantage, ce qui nécessite un soutien financier important. Nos principaux clients sont le Sénat et la Chambre des représentants, ce qui a conduit à l'introduction de la loi CHIPS et d'autres politiques similaires.
Si des modèles de pointe et certains modèles open source continuent de se développer, seules quelques entreprises pourraient être en mesure de rivaliser dans ce domaine. Quels pays disposent de telles capacités ? Ces pays doivent être bien financés, talentueux, dotés de systèmes éducatifs solides et avoir la volonté de gagner. Les États-Unis et la Chine sont deux des principaux pays. Quant à savoir si d’autres pays peuvent participer, je n’en suis pas sûr. Mais ce qui est certain, c’est qu’à l’avenir, la compétition entre les États-Unis et la Chine pour l’hégémonie intellectuelle sera un combat majeur.
Le gouvernement américain a essentiellement interdit l'exportation de puces NVIDIA vers la Chine, même s'il ne l'admettra pas publiquement. Nous disposons d'environ 10 ans d'avantages technologiques dans les puces sub-DUV, qui sont des puces inférieures à 5 nanomètres. Cet avantage nous donne plusieurs années d'avance sur la Chine, au grand dam de celle-ci. Cette politique a été développée par l’administration Trump et soutenue par l’administration Biden.
professeur:Le Congrès écoutera-t-il vos conseils et réalisera-t-il des investissements massifs ? La loi CHIPS en est évidemment un exemple.
Schmidt :
En outre, nous devons également construire un énorme système d’intelligence artificielle. Je dirige un groupe informel, ad hoc et non juridique d'initiés communs de l'industrie. L’année dernière, ces membres ont défendu ce qui est devenu le projet de loi sur l’intelligence artificielle de l’administration Biden, la plus longue directive présidentielle de l’histoire.
Nous avons déjà discuté d’une question centrale : comment détecter les dangers dans un système qui a appris mais dont vous ne savez pas quoi demander ? En d’autres termes, le système a peut-être appris quelque chose de mal, mais vous ne savez pas comment le demander. Par exemple, il a peut-être appris à mélanger des produits chimiques d'une nouvelle manière, mais vous ne savez pas comment lui demander. Pour résoudre ce problème, notre note au gouvernement recommande de fixer un seuil que nous appelons 10 à la puissance 26, qui est une mesure de calcul technique. Au-delà de ce seuil, les entreprises doivent déclarer leurs activités au gouvernement. Pour garantir qu'ils sont différents, l'Union européenne fixe 10 à la puissance 25 à 10. Mais ces chiffres sont assez proches. Je pense que toutes ces distinctions disparaîtront parce que la technologie existante deviendra obsolète. Le terme technique est appelé formation conjointe, ce qui signifie essentiellement que les éléments peuvent être fusionnés. Nous ne pourrons donc peut-être pas protéger les gens contre ces nouvelles choses.
professeur:
La rumeur veut qu'OpenAI doive être entraîné de cette façon, en partie à cause de problèmes de consommation d'énergie. Il n’y a aucun endroit où ils font cela.
Parlons d'une véritable guerre en cours. Je sais que vous avez été activement impliqué dans la guerre en Ukraine, en particulier en ce qui concerne le programme White Stork et votre objectif de détruire des chars d'une valeur de 5 millions de dollars avec des drones d'une valeur de 500 dollars. Comment cela change-t-il la guerre ?
Schmidt :
J'ai travaillé pour le secrétaire à la Défense pendant sept ans, essayant de changer la façon dont nous gérions notre armée. Je n'aime pas particulièrement l'armée, mais cela coûte très cher et je voulais voir si je pouvais aider. Je pense que j'ai fondamentalement échoué. Ils m'ont donné une médaille, donc ils donnent probablement des médailles aux perdants ou autre. Mais mon autocritique est que rien n’a vraiment changé et que le système américain ne conduit pas à une réelle innovation.
J'ai donc décidé de créer une entreprise avec votre ami Sebastian Thrun (qui était membre du corps professoral ici) et un groupe de personnes de Stanford. L’idée est essentiellement de faire deux choses : utiliser l’intelligence artificielle de manière complexe et puissante dans ce qui est essentiellement des guerres de robots et la deuxième chose est de réduire le coût des robots. Maintenant, vous vous demandez peut-être pourquoi un bon libéral comme moi ferait cela ? La réponse est que toute la théorie militaire repose sur les chars, l’artillerie et les mortiers, et que nous pouvons les détruire. Nous pouvons rendre pratiquement impossible la sanction de l’invasion d’un pays (au moins par voie terrestre). Il faudrait éliminer ce genre de guerre terrestre.
professeur:
C'est une question très intéressante. Est-ce que cela donne un avantage à la défense sur l’offensive ? Pouvez-vous faire la différence ?
Schmidt :
Parce que je fais ça depuis un an, j'ai appris beaucoup de choses sur la guerre que je ne voulais vraiment pas savoir. Une chose que vous devez savoir à propos de la guerre est que l'offensive a toujours un avantage car vous pouvez toujours submerger le système de défense. Donc, du point de vue de la stratégie de défense, vous feriez mieux d’avoir une attaque très puissante que vous pouvez utiliser en cas de besoin. Le système que moi et d’autres sommes en train de construire fera exactement cela. Grâce au fonctionnement du système, je suis désormais un marchand d’armes agréé. Je suis donc informaticien, homme d'affaires, marchand d'armes. Je suis désolé de le dire. Est-ce un progrès ? Je ne sais pas. Je ne recommande pas de faire cela dans votre carrière. Je m'en tiendrai à l'intelligence artificielle. En raison du fonctionnement de la loi, nous le faisons en privé, avec le soutien du gouvernement, et tout est légal. Cela va directement en Ukraine, puis ils commencent à se battre. Sans entrer dans tous les détails, la situation est assez désastreuse. Je pense qu’en mai ou juin, si les Russes construisent comme prévu, l’Ukraine perdra une grande partie de son territoire et perdra le pays tout entier. La situation est assez mauvaise. Si vous connaissez Marjorie Taylor Greene, je vous suggère de la supprimer de votre liste de contacts. Parce que c’est elle qui a empêché que des milliards de dollars soient dépensés pour sauver une démocratie importante.
professeur:
Ensuite, je veux discuter d’une question quelque peu philosophique. L’année dernière, vous avez co-écrit un article avec Henry Kissinger et Dan Huttenloch sur la nature de la connaissance et la façon dont elle se développe. J'ai également évoqué ce problème il y a quelques jours. Pendant la majeure partie de l’histoire, la compréhension de l’univers par l’humanité est restée mystérieuse, jusqu’à l’avènement de la révolution scientifique et des Lumières. Dans votre article, vous mentionnez que les modèles actuels sont devenus si complexes et difficiles à comprendre qu'on ne sait vraiment pas ce qui se passe à l'intérieur. Je cite Richard Feynman : « Ce que je ne peux pas créer, je ne le comprends pas. » Je suis tombé sur cette citation l’autre jour. Mais maintenant, les gens créent ce qu’ils peuvent sans vraiment comprendre son fonctionnement interne. La nature de la connaissance a-t-elle changé d’une manière ou d’une autre ? Devons-nous commencer à accepter ces modèles au pied de la lettre, qu’ils ne peuvent pas nous expliquer ?
Schmidt :
Je voudrais donner l'exemple d'un adolescent. Si vous avez un adolescent, vous savez qu’il est humain, mais vous n’arrivez pas à comprendre ce qu’il pense. Cependant, en tant que société, nous avons réussi à nous adapter à l’existence des adolescents et ils finiront par en sortir. C'est une question sérieuse. Nous pouvons donc avoir des systèmes de connaissances que nous ne pouvons pas décrire entièrement, mais nous comprenons leurs limites et les limites de ce qu'ils peuvent faire, et c'est probablement le mieux que nous puissions obtenir. Pensez-vous que nous comprendrons ces limites ? Si nous pouvons faire cela, c'est génial.
Le consensus lors des réunions hebdomadaires de mon groupe est qu'à terme, il y aura ce qu'on appelle l'IA contradictoire, où des entreprises vous embaucheront et vous paieront pour briser votre système d'IA. Tout comme l'équipe rouge. Contrairement aux équipes rouges humaines d'aujourd'hui, vous aurez des entreprises entières et des secteurs entiers de systèmes d'IA dont le travail consiste à perturber les systèmes d'IA existants et à y trouver des vulnérabilités, en particulier celles que nous ne pouvons pas comprendre. Cela a du sens pour moi. C'est aussi un excellent programme pour Stanford. Si vous avez un étudiant diplômé qui doit comprendre comment attaquer l’un de ces grands modèles et comprendre ce qu’il fait, cela constituera une compétence importante pour construire la prochaine génération. Il est donc logique de combiner les deux.
professeur:
Maintenant, répondons à quelques questions des étudiants. Il y a un camarade de classe derrière moi, dites votre nom s'il vous plaît.
étudiant:
Vous avez déjà mentionné, et cela rejoint les commentaires actuels, que l'IA fait réellement ce que vous voulez qu'elle fasse. Vous venez de mentionner l’IA contradictoire, et je me demandais si vous pouviez nous en parler plus en détail. Il semble que, outre l'augmentation évidente de la puissance de calcul, vous puissiez obtenir des modèles plus performants, mais la question de savoir comment les faire faire ce que vous voulez semble être en partie sans réponse.
Schmidt :
Eh bien, vous devez supposer que le problème actuel des hallucinations diminuera à mesure que la technologie s’améliorera, etc. Je ne dis pas que ça va disparaître. Et puis il faut aussi supposer qu'il existe un test d'efficacité, donc il doit y avoir un moyen de savoir si cette chose a réussi. Dans l’exemple que j’ai mentionné d’un concurrent de TikTok, je ne suggère pas de voler illégalement la musique d’autrui. Que feriez-vous si vous étiez entrepreneur dans la Silicon Valley ? J'espère que vous êtes tous des entrepreneurs de la Silicon Valley. Si votre produit réussit, vous embaucherez une armée d’avocats pour gérer les conséquences. Mais si personne n’utilise votre produit, cela n’aura pas d’importance si vous volez tout. Bien sûr, ne me citez pas là-dessus.
La Silicon Valley effectue généralement ces tests et traite les questions de suivi. C'est une pratique courante. Je pense que vous allez voir de plus en plus de systèmes performants et des tests encore meilleurs et éventuellement des tests contradictoires, ce qui les maintiendra dans un cadre. Ce terme professionnel est appelé raisonnement en chaîne de pensée. On pense que dans les prochaines années, vous serez capable de générer une chaîne de raisonnement en mille étapes, tout comme si vous prépariez une recette. Vous pouvez l'exécuter et tester qu'il produit les bons résultats, c'est ainsi que fonctionne le système.
étudiant:
Dans l’ensemble, vous êtes très optimiste quant au potentiel de progrès de l’intelligence artificielle. Je suis curieux, qu'est-ce qui motive ces progrès ? Est-ce plus de puissance de calcul ? Est-ce plus de données ? Est-ce un changement fondamental ou réel ?
Schmidt :
La réponse est tout ce qui précède. La somme d’argent investie est incroyable. En gros, j'ai tout investi parce que je n'avais aucune idée de qui allait gagner et que la somme d'argent que je suivais était tellement énorme. Cela s'explique en partie par le fait que de l'argent a été gagné au début et que ceux qui n'en savent pas grand-chose doivent disposer du composant IA. Tout est investi dans l’IA maintenant et ils ne peuvent pas faire la différence.
Je définis l’intelligence artificielle comme un système d’apprentissage, un système qui apprend véritablement. Je pense que c'est l'un d'entre eux. Le deuxième point est qu’il existe désormais de nouveaux algorithmes très complexes qui ressemblent un peu à ceux de l’ère post-Transformer. Un de mes amis, également collaborateur de longue date, a inventé une nouvelle architecture non-Transformer. Un groupe que j'ai financé à Paris a affirmé avoir fait la même chose. Il y a beaucoup d’inventions et beaucoup de recherches à Stanford. Le dernier point est que le marché estime que les inventions intelligentes ont des rendements illimités. Disons que vous investissez 50 milliards de dollars dans une entreprise et que vous devez gagner beaucoup d’argent grâce aux renseignements pour pouvoir le rembourser. Nous pourrions avoir une énorme bulle d’investissement et elle se résoudrait d’elle-même. Cela a toujours été le cas et cela pourrait être le cas aujourd’hui.
professeur:Vous avez mentionné plus tôt que les dirigeants créent une distance par rapport aux autres.
Schmidt :
Il existe désormais une entreprise en France appelée Mistral, et elle fait un très bon travail. Je suis évidemment un investisseur. Ils ont déjà réalisé une deuxième version, et leur troisième modèle sera probablement fermé car trop cher. Ils ont besoin de revenus et ne peuvent pas donner leur modèle gratuitement. Le débat entre open source et source fermée fait rage dans notre industrie. Toute ma carrière s'est construite sur la volonté des gens de partager des logiciels de manière open source. Tout ce que je fais est basé sur l'open source. Une grande partie des fondations de Google repose également sur l'open source. Mon travail se situe principalement dans le domaine technique. Cependant, les énormes coûts d’investissement pourraient changer fondamentalement la façon dont les logiciels sont construits.
Mon point de vue sur les programmeurs de logiciels est que leur productivité devrait au moins doubler. Il existe actuellement trois ou quatre éditeurs de logiciels qui tentent de le faire, et j'ai investi dans chacun d'eux pendant cette période. Ils tentent tous de rendre les programmeurs de logiciels plus productifs. Je suis récemment tombé sur une entreprise très intéressante appelée Augment. Je pense souvent aux programmeurs qui disent que ce n’est pas le but. Notre cible, ce sont ces équipes de programmation logicielle de 100 personnes avec des millions de lignes de code et personne ne sait ce qui se passe. C'est une très bonne application de l'intelligence artificielle. Vont-ils gagner de l’argent ? Je l'espère, mais il y a beaucoup de problèmes ici.
étudiant:
Au début, vous avez mentionné que la combinaison d'extensions de fenêtres contextuelles, de proxys et de textes-actions aurait un impact incroyable. Premièrement, pourquoi cette combinaison est-elle importante ? Deuxièmement, je sais que vous n’êtes pas un prophète et que vous ne pouvez pas prédire l’avenir, mais pourquoi pensez-vous que cela dépasse notre imagination ?
Schmidt :
Je pense principalement parce que les fenêtres contextuelles vous permettent de résoudre les problèmes de récence. Les modèles actuels nécessitent environ 18 mois de formation, dont six mois de préparation, six mois de formation et six mois de mise au point, ils sont donc toujours obsolètes. Et avec la fenêtre contextuelle, vous pouvez saisir les derniers événements et poser des questions sur la guerre Hamas-Israël dans son contexte, ce qui est très puissant et le rend aussi à jour que Google.
Dans le cas de l'agence, je peux vous donner un exemple. J'ai créé une fondation pour financer une organisation à but non lucratif. Je ne connais pas grand-chose en chimie, mais il existe un outil appelé ChatCrow, qui est un système basé sur de grands modèles de langage permettant d'apprendre la chimie. Ils font fonctionner le système pour générer des hypothèses chimiques sur les protéines, puis le laboratoire les teste pendant la nuit et le système apprend. Il s’agit d’un énorme accélérateur pour des domaines tels que la chimie et la science des matériaux. Il s’agit d’un modèle d’agence.
Je pense que si seulement il y avait beaucoup de programmeurs bon marché, le concept de texte-action pourrait être compris. Je ne pense pas que nous comprenions ce qui se passe lorsque chacun a son propre programmeur. C'est aussi votre domaine d'expertise. Je ne parle pas de tâches simples comme allumer et éteindre les lumières. J'imagine un autre exemple, disons que vous n'aimez pas Google, vous pourriez dire, faites de moi un concurrent de Google. Oui, vous pouvez le faire personnellement. Construisez-moi un concurrent de Google qui effectue des recherches sur le Web, crée l'interface utilisateur, réalise de bonnes copies et les ajoute de manière intéressanteintelligence artificielle générative. Faites-le dans les 30 secondes et voyez si cela fonctionne. Beaucoup pensent que les opérateurs historiques, dont Google, sont vulnérables à de telles attaques.
professeur:
Maintenant, jetons un coup d'œil. Slido a envoyé de nombreuses questions, dont certaines ont été mises en ligne. L’année dernière, nous avons discuté de la manière d’empêcher l’IA d’influencer l’opinion publique et de diffuser des informations erronées, en particulier lors des prochaines élections.
Schmidt :
Nous devons réfléchir à des solutions à court et à long terme. Lors des prochaines élections mondiales, la plupart des informations erronées apparaîtront sur les réseaux sociaux, et les capacités organisationnelles actuelles des sociétés de médias sociaux sont insuffisantes pour contrôler efficacement ces informations. TikTok, par exemple, a été accusé de favoriser un certain type de désinformation, même si je n’en ai aucune preuve. Je pense que nous sommes dans le pétrin.
Le pays doit apprendre la pensée critique, ce qui pourrait constituer un défi difficile à relever pour les États-Unis. Ce n’est pas parce que quelqu’un vous dit quelque chose que c’est vrai.
professeur:
Sommes-nous allés si loin que plus personne ne croira certaines des choses qui sont vraies ? Certains parlent de crise épistémologique. Or, Elon Musk dit qu’il n’a jamais fait quelque chose, mais comment le prouver ?
Schmidt :
Nous pouvons illustrer cela avec l’exemple de Donald Trump. Je pense que nous avons un problème de confiance dans notre société et que la démocratie pourrait échouer à cause de cela. La plus grande menace pour la démocratie est la désinformation, parce que nous sommes devenus si doués dans ce domaine.
Lorsque je dirigeais YouTube, le plus gros problème que nous avions était celui des gens qui mettaient en ligne de fausses vidéos entraînant la mort de personnes. Nous avons une politique de non-mort et essayer de résoudre ce problème est choquant et horrible. C’était avant l’avènement de l’intelligence artificielle générative.
professeur:
Je n'ai pas de bonne réponse, mais il existe un problème technique qui semble atténuer ce problème, à savoir l'authentification par clé publique. Pourquoi ne pas utiliser des signatures numériques comme SSL lorsque Joe Biden parle ? Une célébrité, une personnalité publique ou toute autre personne peut-elle posséder une clé publique ?
Schmidt :
Il s'agit d'une forme de clé publique qui offre une certaine certitude, par exemple lorsque j'envoie ma carte de crédit à Amazon, je sais que c'est Amazon.
J'ai publié un article avec Jonathan Haidt, mais cela n'a eu aucun impact. C'est un très bon communicateur, ce que je ne suis probablement pas. Ma conclusion est que le système n’est pas organisé comme nous le prétendons. Les PDG maximisent souvent leurs revenus et, pour ce faire, ils maximisent l’engagement, et la manière de maximiser l’engagement est de maximiser l’indignation. Les algorithmes choisissent la colère parce qu’elle génère plus de revenus, de sorte que les gens ont tendance à soutenir des choses extrêmes. C’est un problème sur tous les fronts et il faut y remédier.
Dans une démocratie, ma solution à TikTok est basée sur ce dont nous avons déjà discuté en privé. Quand j’étais enfant, il y avait ce qu’on appelle la règle du temps égal. TikTok n’est pas réellement une plateforme de médias sociaux, mais plutôt une forme de télévision. Chaque utilisateur de TikTok aux États-Unis utilise l'application en moyenne 90 minutes par jour et réalise 200 vidéos, ce qui représente une utilisation importante. Même si le gouvernement n’applique pas les règles d’égalité de temps, cette orientation mérite peut-être d’être envisagée, car elle nécessite une certaine forme d’équilibre.
étudiant:
Le premier concerne l’impact économique sur le marché du travail. L’impact a été plus lent que prévu initialement, notamment sur le marché du travail. Il y a aussi une question concernant le personnel du service client. Pensez-vous que le monde universitaire devrait être subventionné pour l’IA, ou devrait-il s’associer à de grandes entreprises ?
Schmidt :
J'ai insisté pour que les universités construisent des centres de données. Si j'étais membre du corps professoral d'un département d'informatique, je serais frustré de ne pas pouvoir développer d'algorithmes avec des étudiants diplômés pour des recherches doctorales parce que j'étais obligé de travailler avec des entreprises. Et ces entreprises ne sont pas assez généreuses à cet égard. C'est une situation terrible : de nombreux professeurs et membres du personnel passent beaucoup de temps à attendre les crédits Google Cloud. Nous voulons que les universités américaines réussissent dans ce domaine, c’est pourquoi je pense que leur permettre d’obtenir ces crédits est la bonne chose à faire.
J'écouterais les vrais experts en matière d'impact sur le marché du travail. En tant qu'économiste amateur, je crois qu'il y a un bel avenir pour l'enseignement collégial et les tâches hautement qualifiées, car les gens utiliseront ces systèmes. Je ne pense pas que ces systèmes soient fondamentalement différents des vagues technologiques précédentes. Les emplois dangereux et ceux qui ne nécessitent pas de jugement humain seront remplacés.
étudiant:
Du passage du texte à l'action et de ses implications pour l'enseignement de l'informatique ? Je pense que l'enseignement de l'informatique doit s'adapter aux temps changeants.
Schmidt :
Je suppose que les informaticiens en tant qu'étudiants de premier cycle auront toujours un copain programmeur. Lorsque vous apprendrez votre première boucle for, un outil deviendra votre compagnon naturel. Le professeur explique les concepts et vous vous impliquez ainsi.
Étudiant : Concernant la discussion sur l'architecture non-Transformer, je pense que le modèle d'état est une direction qui est en cours de discussion, mais maintenant plus d'attention est accordée au contexte.
Schmidt :
Je ne comprends pas assez bien les mathématiques, mais je suis heureux que cela crée des emplois pour les mathématiciens car les mathématiques ici sont très complexes. Fondamentalement, celles-ci sont effectuéesdescente de penteet différentes méthodes de multiplication matricielle, visant à être plus rapides et meilleures. Comme vous le savez, les Transformers sont un moyen systématique d’effectuer des multiplications simultanément. Voici mes pensées. C'est similaire à ceci, mais le calcul est différent. Voyons.
étudiant:
Dans votre document sur la sécurité nationale, vous avez évoqué la situation actuelle en Chine, aux États-Unis et dans d'autres pays. Les dix pays du groupe suivant sont soit des alliés des États-Unis, soit ont le potentiel de devenir des alliés des États-Unis. Je suis curieux de connaître votre avis sur ces dix pays. Ils sont en quelque sorte des intermédiaires, pas des alliés formels. Quelle est la probabilité qu’ils se joignent aux efforts visant à assurer notre sécurité ? Qu’est-ce qui les empêche d’adhérer ?
Schmidt :
Le pays le plus intéressant est l’Inde, car les meilleurs talents en intelligence artificielle viennent d’Inde et viennent aux États-Unis. Nous devrions permettre à l’Inde de conserver certains de ses meilleurs talents, pas tous mais certains. Et ils ne disposent pas des installations et des programmes de formation riches que nous avons ici. À mon avis, l’Inde est un pays en difficulté à cet égard. Le Japon et la Corée du Sud sont évidemment nos camps. Les logiciels taïwanais sont épouvantables, donc cela ne fonctionnera pas. Le matériel est génial. Et ailleurs dans le monde, il n’existe pas beaucoup d’autres bonnes options. L’Europe est foutue à cause de Bruxelles, ce n’est pas nouveau. J'ai passé 10 ans à les combattre. J'ai travaillé très dur pour les amener à modifier la loi européenne. Ils présentent encore diverses limites qui rendent très difficile la conduite de recherches en Europe. Mes amis français passent tout leur temps à combattre Bruxelles. En tant qu’ami personnel, Macron y travaille dur. Je pense donc que la France a une chance. Je ne pense pas que l'Allemagne viendra et que les autres pays ne sont pas assez forts.
étudiant:
Je sais que vous êtes ingénieur de formation, je pense qu'on vous appelle compilateur. Compte tenu des capacités que vous envisagez pour ces modèles, devrions-nous encore consacrer du temps à apprendre à coder ?
Schmidt :
Oui, parce qu'en fin de compte, c'est la question clichée : pourquoi apprendre l'anglais si on sait le parler ? Vous apprendrez mieux. Vous devez vraiment comprendre comment fonctionnent ces systèmes, et je peux comprendre cela.
étudiant:
Je suis curieux de savoir si vous avez exploré une configuration distribuée. Je pose cette question car, bien sûr, créer un grand cluster est difficile, mais les MacBook sont puissants. Il existe de nombreuses petites machines dans le monde. Alors, pensez-vous que le pliage à la maison ou quelque chose comme ça serait applicable à la formation de ces systèmes ?
Schmidt :
Oui, nous avons examiné cette question très attentivement. Ainsi, la façon dont fonctionne l’algorithme est que vous avez une très grande matrice et que vous avez essentiellement une fonction de multiplication. Considérez-le donc comme un va-et-vient. Et ces systèmes sont complètement limités par la vitesse de la mémoire du CPU ou du GPU. En fait, la prochaine génération de puces NVIDIA a intégré toutes ces fonctions dans une seule puce. Les jetons sont désormais si gros qu’ils sont collés les uns aux autres. En fait, le boîtier est si sensible que le boîtier et la puce elle-même sont assemblés dans une salle blanche. La réponse semble donc que les superordinateurs et la vitesse de la lumière, en particulier les interconnexions de mémoire, ont vraiment le dessus. Je pense que la segmentation des grands modèles linguistiques (LLM) est peu probable pour le moment.
professeur:
Jeff Dean a mentionné dans un discours l'année dernière que le modèle peut être divisé en différentes parties, entraînées séparément puis combinées.
Schmidt :
Mais pour y parvenir, il faut disposer de dizaines de millions de modèles de ce type, et la vitesse à laquelle les questions se poseront deviendra très lente. Il a mentionné qu'il faudrait huit, dix ou douze supercalculateurs pour y parvenir, mais ce n'est pas à son niveau.
étudiant:
Concernant la question de la confidentialité des données, j'ai appris que le New York Times avait poursuivi OpenAI pour avoir utilisé son travail à des fins de formation.
Schmidt :
Je pense qu'il pourrait y avoir beaucoup de procès similaires à l'avenir, et éventuellement une sorte d'accord sera conclu, comme exiger qu'un certain pourcentage des revenus soit payé pour l'utilisation de certaines œuvres, comme l'ASCAP et EMI dans l'industrie musicale. . Ce modèle peut paraître un peu dépassé, mais je pense que c'est ainsi que cela fonctionnera au final.
étudiant:
Dans le domaine de l’IA, il semble que quelques entreprises dominent le marché et chevauchent les plus grandes entreprises sur lesquelles se concentrent les réglementations antitrust.
Schmidt :
J'ai été impliqué dans l'affaire de dissolution de Microsoft au cours de ma carrière, mais cela n'a finalement pas abouti ; j'ai également travaillé dur pour empêcher la dissolution de Google, mais j'ai également échoué. Je pense donc que la tendance n’est pas à diviser. Tant que ces entreprises ne deviennent pas des monopoles comme John D. Rockefeller, une action gouvernementale est peu probable.
Ces grandes entreprises dominent parce qu’elles sont les seules à disposer du capital nécessaire pour construire des centres de données. J'ai des amis Reed et Mustafa qui ont pris la décision de céder leur entreprise à Microsoft parce qu'ils ne parvenaient pas à lever des dizaines de milliards de dollars. Quant aux chiffres exacts, vous devrez peut-être demander à Reed de vous le dire.
étudiant:
Enfin, je me demande quel impact ces évolutions auront sur les pays qui ne sont pas impliqués dans le développement de modèles et de calculs de pointe.
Schmidt :
Les pays riches deviendront encore plus riches, tandis que les pays pauvres ne pourront que faire de leur mieux. Il s’agit en réalité d’un jeu réservé aux pays riches, qui nécessite d’énormes capitaux, des talents techniques et un fort soutien gouvernemental. À l’échelle mondiale, de nombreux pays sont confrontés à divers problèmes, notamment lorsque les ressources sont rares. Ils doivent trouver des partenaires et travailler avec d’autres pour résoudre ces problèmes.
professeur:
Je me souviens de la dernière fois que nous nous sommes rencontrés, tu étaisAGI House participe à un hackathon. Je sais que vous consacrez beaucoup de temps et que vous êtes passionné par le fait d'aider les jeunes à créer de la richesse. Avez-vous des conseils à donner aux personnes qui rédigent des plans d'affaires pour des cours ou qui rédigent des propositions politiques ou des propositions de recherche dans leur carrière ?
Schmidt :
J'enseigne un cours sur ce sujet dans une école de commerce, et vous devriez venir m'écouter. Je suis choqué par la rapidité avec laquelle vous présentez de nouvelles idées.
Lors d'un hackathon auquel j'ai participé, l'équipe gagnante avait pour mission de faire voler un drone entre deux tours. Ils ont utilisé Python pour générer du code dans un espace de drone virtuel et ont réussi la tâche dans le simulateur. Cela peut prendre une semaine ou deux à un bon programmeur professionnel pour ce faire. Je pense que la capacité de créer rapidement des prototypes est très importante, car une partie du problème auquel les entrepreneurs sont confrontés est la rapidité. Si vous ne pouvez pas créer de prototype en une journée avec ces outils, vous devez reconsidérer votre décision, car c'est exactement ce que font vos concurrents.
Mon plus grand conseil est donc que lorsque vous commencez à penser à créer une entreprise, vous pouvez rédiger un plan d’affaires. En fait, vous pouvez demander à un ordinateur de l'écrire pour vous, à condition que ce soit légal. Il est important d’utiliser ces outils pour prototyper vos idées le plus rapidement possible, car il se peut que quelqu’un fasse la même chose dans une autre entreprise, université ou ailleurs où vous n’êtes pas allé.
professeur:Merci beaucoup.
Collectez et organisez les dernières informations d'actualité et rendez-les gratuites pour que tout le monde puisse les consulter.
