nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

prenant l'exemple de l'industrie photovoltaïque, amodei estime que même si une technologie devient très importante et largement utilisée sur le marché, il peut toujours être difficile de générer des bénéfices élevés pour une seule entreprise, et une commercialisation élevée limitera la rentabilité de l'entreprise. à l’instar de l’industrie photovoltaïque, la taille du marché de la technologie de l’ia peut être très vaste, mais il peut être difficile d’en tirer profit, et la question de la répartition des bénéfices entre les différents participants est également très compliquée.

ia difficile

auteur |

éditeur | ia dure

cette semaine, dario amodei, pdg et co-fondateur de « ai unicorn » anthropic, a participé à l'interview et a discuté du développement de l'industrie de l'ia, du scaling law, etc.

la loi de mise à l'échelle fait principalement référence au fait qu'à mesure que les données et la puissance de calcul augmentent, les capacités du modèle augmenteront également.amodei estime que si cette loi continue de s’appliquer, l’ia deviendra probablement très puissante et apportera de nouveaux modèles commerciaux et innovations technologiques.

cependant, il a également souligné que cette loi ne s’applique pas toujours. si les performances du modèle ne peuvent pas être encore améliorées sur certains aspects, l’ensemble du secteur de l’ia pourrait être affecté.

amodei s'est également concentré sur la comparaison de l'industrie de l'ia avec l'industrie photovoltaïque. il a utilisé l'exemple de l'industrie photovoltaïque pour illustrer que même si une technologie devient très importante et largement utilisée sur le marché, il peut encore être difficile de générer des bénéfices élevés pour une seule entreprise.

bien que la technologie photovoltaïque ait presque ébranlé l’ensemble du secteur énergétique, son marché est très marchandisé, extrêmement compétitif et dépourvu d’effets de marque significatifs, de sorte que la rentabilité de chaque entreprise est soumise à certaines limites.

à l’instar de l’industrie photovoltaïque, la taille du marché de la technologie de l’ia peut être très vaste, mais il peut également être difficile d’en tirer profit. le modèle de profit de l'ia peut être affecté par plusieurs facteurs, tels que les coûts de calcul du modèle, les coûts d'inférence, etc. la répartition des bénéfices entre les fournisseurs de matériel, les développeurs de modèles et les couches d'application est également assez complexe et se heurte à des défis considérables.

les points de discussion sont les suivants :

1. il est quelque peu difficile de séparer complètement le droit du dimensionnement des questions commerciales.

2. le marché étant si vaste, ma première réponse est que les gains iront vers tous ces endroits.

3. si la loi de mise à l’échelle est correcte, il s’agira alors d’un marché très énorme. même si seulement 10 % des bénéfices vont à une certaine partie de la chaîne d’approvisionnement, cela reste énorme.

4. si nous construisons un modèle avec des dizaines ou des centaines de milliards de paramètres, il ne faudra peut-être pas plus de quatre ou cinq entités (et peut-être quelques entreprises publiques) impliquées. ce à quoi nous assistons ressemble peut-être davantage à un oligopole qu’à un monopole total ou à une marchandisation totale.

5. même si un tel modèle est publié, le coût de fonctionnement d'un modèle d'une telle envergure en matière d'inférence est très élevé, et la majeure partie du coût concerne l'inférence plutôt que la formation du modèle. si vous disposez de meilleures méthodes d’inférence, même une amélioration de 10 %, 20 % ou 30 % peut avoir un impact important.

6. nous avons des modèles plus grands et plus puissants et des modèles plus rapides, moins chers et moins intelligents. certains clients ont constaté que le grand modèle peut attribuer des tâches à un grand nombre de petits modèles, puis faire rapport au grand modèle pour accomplir la tâche comme un. essaim.

7. personne ne devrait croire que la loi de mise à l'échelle continuera éternellement, ce n'est qu'une observation empirique et peut s'arrêter à tout moment. je les observe depuis dix ans et je suppose qu'ils ne s'arrêteront pas n'est qu'une proposition 60-40 ou 70-30 basée sur la durée pendant laquelle je les observe.

8. si nous pouvons utiliser l’ia correctement, elle peut multiplier par 10, voire 100, la vitesse à laquelle nous faisons ces découvertes.

le texte intégral de l’interview est le suivant, avec certains contenus supprimés :

01

google n'a pas réussi à devenir les bell labs de l'ère de l'intelligence artificielle

noé smith :

dans ce podcast économique, nous préférons parler d’économie plutôt que de sujets purement techniques. alors, google est-il le bell labs de l’ère de l’intelligence artificielle ?

ils ont fait des recherches sur l'apprentissage profond moderne, les transformers, etc., mais ils n'ont pas vraiment réussi à les commercialiser, comme les bell labs. ils ont financé cette recherche avec l'argent du monopole, puis des gens intéressants comme vous ont travaillé là-bas, puis sont partis créer des entreprises, comme les gens de fairchild aux bell labs. pensez-vous que c'est une métaphore appropriée ?

dario amodei :

même si rien n’est une analogie parfaite, je pense vraiment qu’il y a du vrai là-dedans. beaucoup y voyaient la continuation d’une carrière universitaire, très similaire à l’environnement industriel des bell labs, sauf que google disposait de plus de ressources pour atteindre ses objectifs. de nombreux projets sont donc à l’étude. transformer est l’une des inventions clés dans ce domaine, et ce n’est que l’un des cent projets en cours.

si vous étiez au sommet de l'organisation, vous ne seriez pas raisonnablement en mesure de la distinguer des 99 autres projets en développement. c'est comme si une centaine de fleurs s'épanouissaient et se faisaient concurrence. je pense que c'est à ce moment-là que j'ai proposé pour la première fois la loi de mise à l'échelle, selon laquelle nous devons mettre à l'échelle et intégrer ces innovations à grande échelle.

en théorie, google est le meilleur endroit pour faire cela, ils possèdent le plus grand cluster au monde avec des tonnes d'ingénieurs talentueux et tous les éléments nécessaires.cependant, google est organisé pour la recherche, et je ne pense pas que ce soit nécessairement dans le but de rassembler tous ces éléments et de mettre à l'échelle massivement quelque chose de complètement différent de ce qu'il était auparavant.

noé smith :

tout comme les bell labs n’ont pas été conçus pour inventer des ordinateurs et donner à chacun un ordinateur, ils ont été conçus pour connecter tout le monde.

dario amodei :

oui, c'est une compagnie de téléphone. donc, je ne peux pas parler au nom de google, mais évidemment, en plus d'inventer toutes ces choses étonnantes, ils sont l'une des quatre premières entreprises avec des modèles de pointe qui sont à la fois nos partenaires et nos concurrents. je connais beaucoup de gens là-bas qui sont très intelligents.

mais je pense que vous avez raison, il y aura un moment où ils pourront être le seul acteur dominant s’ils parviennent à combiner ces éléments de la bonne manière. mais pour une raison quelconque, les choses ne se sont pas passées ainsi.

02

loi d'échelle :

à mesure que la taille des données augmente, le modèle devient plus puissant

noé smith :

cela soulève une autre question à laquelle nous réfléchissons. en fait, l'idée pour nous de vous parler est venue de quelque chose dont nous discutions sur un autre podcast où nous parlions essentiellement de l'économie du commerce internet, puis quelqu'un a évoqué des points de vue pessimistes sur le secteur de l'ia, se demandant combien d'ia il y a vraiment des fossés économiques.

évidemment, cela est étroitement lié à anthropic et à d’autres entreprises que nous appelons startups, mais elles sont déjà assez grandes.alors, dites-nous ce que vous pensez des bastions économiques des entreprises d’ia.

dario amodei :

je dirais que je vais diviser un peu cette question en deux branches. je pense qu'il est difficile de séparer complètement le droit du dimensionnement des questions commerciales. considérons donc le cas où la loi de mise à l'échelle s'applique sous une forme très forte, puis considérons les cas où elle pourrait s'appliquer partiellement ou pas du tout. si cela se vérifie sous une forme très forte, la situation ressemble à ceci :

vous avez maintenant formé un modèle avec 100 millions de paramètres, et ses capacités sont équivalentes à celles d'un bon étudiant de première année ;

ensuite, vous entraînez un modèle avec un milliard de paramètres, ce qui équivaut aux capacités d'un bon étudiant de premier cycle ;

vous avez formé un modèle avec des dizaines de milliards de paramètres, et ses capacités sont équivalentes à celles d'un étudiant diplômé de haut niveau ;

lorsque vous entraînez un modèle avec des centaines de milliards de paramètres, ses capacités sont équivalentes à celles d'un lauréat du prix nobel.

et puis vous mettez ce modèle en service et vous servez essentiellement tout le monde, et il devient votre collègue, il devient votre assistant personnel, il contribue à la sécurité nationale, il contribue à la recherche biologique.

je pense que dans ce monde, ce système et les produits qui en découlent représenteront une grande partie de l’économie. la question qui reste est de savoir où iront les bénéfices ? sera-t-il transféré à nvidia, aux sociétés d’intelligence artificielle ou aux applications en aval ? le marché étant si énorme, ma première réponse est :les avantages affluent vers tous ces endroits.

03

l’avenir de l’ia sera similaire à celui de l’industrie photovoltaïque

noé smith :

mais pensez au solaire, le solaire va clairement être très important. plus nous avons besoin d’énergie, plus l’énergie solaire se généralisera. cependant, il est difficile de dire quelle entreprise solaire réalise le plus de bénéfices. l'énergie solaire est un produit très banalisé, et bien qu'il contienne beaucoup d'innovation, il n'y a pas d'effet de marque, pas d'effet de réseau et pas d'effet de verrouillage. il est difficile pour une entreprise solaire de réaliser des bénéfices sur ce produit. , et celui-ci les choses changent le monde sous nos yeux.

je ne suis donc pas entièrement sûr que le simple fait que tout soit en plein essor comme l’énergie solaire en ce moment entraînera nécessairement des bénéfices pour l’entreprise. mais je suis certainement ouvert à cette possibilité. je veux juste savoir,selon vous, quelle est la source ? pourquoi le développement de l’intelligence artificielle est-il différent ?

dario amodei :

énergie solaire? je pense qu'il y a deux points ici, car je pense que c'est une question importante dans la plupart des mondes. peut-être que je dis simplement que si la loi de mise à l'échelle est correcte, cela constituera un marché très énorme. même si seulement 10 % des bénéfices vont à une certaine partie de la chaîne d’approvisionnement, cela reste énorme.

à mesure que l’on agrandit le gâteau, cela devient la question la plus intéressante, même si ceux qui décident de la manière de distribuer les billets d’un dollar seront certainement très préoccupés par la destination de ces mille milliards. mais revenons à votre question, car je pense que c'est important partout dans le monde.le nœud du problème est la taille du « gâteau » que vous divisez.

premièrement, côté modèle, cela dépend de la loi d’échelle. si nous construisions un modèle avec des dizaines ou des centaines de milliards de paramètres, il n’y aurait probablement pas plus de quatre ou cinq entités (et peut-être quelques entreprises publiques) impliquées. ce à quoi nous assistons ressemble peut-être davantage à un oligopole qu’à un monopole total ou à une marchandisation totale.

je suppose qu’une question ici est la suivante : est-ce que quelqu’un va publier un modèle open source comportant un milliard ou 10 milliards de paramètres ? je suis sceptique, même si un tel modèle est publié, le coût de fonctionnement d'un si grand modèle en inférence est très élevé, la majeure partie du coût étant liée à l'inférence plutôt qu'à la formation du modèle. si vous disposez de meilleures méthodes d’inférence, même une amélioration de 10 %, 20 % ou 30 % peut avoir un impact important. les aspects économiques sont un peu bizarres, c'est un coût fixe énorme qu'il faut amortir, mais il y a aussi un coût unitaire du raisonnement, et dans cette hypothèse, déployée assez largement, la différence peut être énorme. je ne sais pas comment cela va se passer.

noé smith :

c’est en fait similaire à l’économie de l’industrie lourde, comme la façon dont l’acier est fabriqué.

dario amodei :

oui, un peu. fait intéressant, l’autre chose que je dirais, c’est qu’au sein de ces modèles, nous avons commencé à voir les modèles avoir des personnalités différentes. la marchandisation est donc une possibilité, mais même dans un oligopole, la manière dont certains modèles sont déployés peut être marchandisée, même si je n'en suis pas sûr.

mais une force s’oppose à ce point de vue : hé, j’ai créé un modèle qui était bon en programmation, vous avez créé un modèle qui était bon en écriture créative et une troisième personne a créé un modèle qui était bon en divertissement. ce sont des choix, et une fois que vous commencez à faire ces choix, vous commencez à construire une infrastructure autour d’eux, ce qui semble créer les conditions préalables à un certain niveau de différenciation.

une autre source possible de différenciation réside dans les produits construits sur des modèles.en théorie, vous pouvez séparer la couche modèle de la couche produit. en pratique, elles sont interdépendantes et travailler entre organisations peut s'avérer difficile. ainsi, bien qu’il existe une logique commune en matière de modèles, avec de nombreuses entreprises évoluant dans la même direction, ajoutant des capacités multimodales pour rendre les modèles plus intelligents et accélérer l’inférence, les produits sont si différents.

si vous regardez ce projet "artifacts" que nous avons réalisé, c'est une façon de visualiser le code d'écriture d'un modèle en temps réel. nous faisons cela, openai a sa propre approche et google a sa propre approche. je pense que c'est aussi une des sources de différenciation entre les entreprises.

nous avons constaté que les aspects économiques de la vente d'applications, même relativement modestes, deviennent de plus en plus lourds en fonction du modèle.

erik torenberg :

si scaling law s’applique et que les choses deviennent aussi importantes que nous le pensons, vous attendez-vous à ce que ces entreprises soient nationalisées à un moment donné ? ou qu'en pensez-vous ?

dario amodei :

nous pouvons le diviser en deux situations : l’une est que la loi de mise à l’échelle est correcte, et l’autre est que la loi de mise à l’échelle est fausse. si c'est faux, alors il s'agit simplement d'une technologie qui, comme internet ou l'énergie solaire, est peut-être plus importante que la plupart, mais elle n'est pas sans précédent. compte tenu de l’évolution actuelle, je ne pense pas qu’elle soit nationalisée.

si c'est vrai, les modèles que nous construisons sont aussi bons que ceux des biologistes lauréats du prix nobel et des meilleurs codeurs de l'industrie, voire mieux. je ne sais pas s'il s'agira réellement d'une nationalisation, nous allons être très préoccupés de savoir si nos adversaires pourront nous suivre, ou si nous pouvons les déployer aussi vite que nos adversaires.

04

loi d'échelle

influencer l’ia pour créer de nouveaux modèles économiques

noé smith :

j'ai une question sur l'impact de l'intelligence artificielle sur les modèles économiques. vous connaissez l'histoire de l'électricité. au début, quand ils ont eu de l'électricité, les fabricants ont essayé de démanteler leurs générateurs de vapeur, et les générateurs ont subi des pertes. puis quelqu'un a découvert qu'il était possible d'alimenter en électricité plusieurs postes de travail en parallèle, ce qui a changé la façon dont la fabrication fonctionnait. au lieu d'une grande chaîne de montage, celle-ci s'est transformée en plusieurs petits postes de travail, ce qui a entraîné d'énormes gains de productivité pendant des décennies.

j'ai toujours soupçonné que l'ia était similaire. je pense qu'internet est similaire,l’ia est similaire dans la mesure où, au début, tout le monde semble penser qu’elle est une personne. quelqu'un a en fait comparé le nombre d'ia au nombre d'employés humains, ce qui n'a pas de sens pour moi car il ne peut pas être décomposé en individus.

vous pourriez créer un système basé sur un proxy pour imiter cette approche, mais pourquoi ? je vois tout le monde penser à l’ia remplaçant directement les humains, et mon argument est que c’est la première étape, tout comme l’électricité remplaçant directement les chaudières à vapeur n’est pas une bonne idée. je pense que les gens seront un peu déçus car il n'y a que quelques cas où ce remplacement direct d'un humain fonctionne, comme le service client et quelques autres choses bien définies.

mais je pense qu’il n’y a que quelques cas où ce remplacement direct des humains fonctionnera, et alors nous connaîtrons l’éclatement du cycle de battage médiatique de gartner.

certains entrepreneurs créatifs diraient que nous n’utilisons pas seulement l’intelligence artificielle pour remplacer l’humain, mais que nous l’utilisons pour créer de nouveaux modèles économiques. ensuite, nous assisterons à une période de boom et de résurgence, c’est ma prédiction. mes prédictions à la gartner, je suis folle ?

dario amodei :

je pense donc que c'est un mélange de certaines choses avec lesquelles je suis d'accord et d'autres avec lesquelles je ne suis peut-être pas d'accord. tout d’abord, je suis sur le fond d’accord que si l’on fige la qualité du modèle actuel, tout ce que vous dites est correct. nous observons fondamentalement quelque chose de similaire dans les affaires. nous fournissons des modèles avec lesquels vous pouvez parler, mais nous vendons également des modèles via une api à de nombreux clients. les gens ont passé beaucoup de temps à trouver la meilleure façon d’utiliser les modèles.

il y a beaucoup de questions sur la fiabilité des modèles et je pense que c'est une source d'inquiétude, comme un modèle donnant la bonne réponse 95% du temps mais pas 5% du temps, comment détectez-vous ces situations et comment gérer la gestion des erreurs très important. c’est très différent d’être utile en théorie et utile en pratique.

au début, nous avions une fonctionnalité qui permettait au modèle d'écrire du code, puis vous pouviez coller le code dans un compilateur ou un interpréteur pour créer un jeu vidéo javascript, et si quelque chose n'allait pas, vous pouviez revenir au modèle et le corriger. nous voyons également de grands modèles coordonner de petits modèles, ce qui est très différent de l'idée selon laquelle un modèle est une personne.

nous avons des modèles plus grands, plus puissants et des modèles plus rapides, moins chers et moins intelligents, et certains clients ont constaté que le grand modèle peut distribuer des tâches à un grand nombre de petits modèles, qui font ensuite rapport au grand modèle pour accomplir la tâche comme un essaim.

nous explorons également les meilleures façons d’utiliser les modèles, qui deviennent plus intelligents et plus efficaces pour résoudre ces problèmes. il s’agit donc en fin de compte de savoir si la loi de mise à l’échelle est là pour rester. s’ils continuent, ce sera un processus comme vous le décrivez. s’ils s’arrêtaient, l’innovation s’arrêterait et le processus que vous décrivez prendrait fin.

personne ne devrait croire que la loi de mise à l’échelle perdurera éternellement, ce n’est qu’une observation empirique et peut s’arrêter à tout moment. je les observe depuis dix ans et je suppose qu'ils ne s'arrêteront pas n'est qu'une proposition 60-40 ou 70-30 basée sur la durée pendant laquelle je les observe.

erik torenberg :

qu'est-ce qui changerait votre avis ? qu’est-ce qui changerait vos chances là-bas ?

dario amodei :

je pense que, tout d’abord, si nous formons simplement un modèle et que nous essayons ensuite le modèle réduit suivant, les résultats sont très mauvais. nous avons essayé de le réparer plusieurs fois et cela n'a toujours pas fonctionné et je me suis dit, oh, je suppose que cette tendance est en train de s'arrêter.

s'il y a un problème en termes d'épuisement des données et que nous ne pouvons pas générer suffisamment de données synthétiques pour poursuivre ce processus, alors à un moment donné, je dirais, hé, cela semble en fait difficile, au moins cette tendance va s'arrêter, peut-être s'arrêter, mais cela ne s'arrêtera peut-être pas. je continue de supposer que ces choses n’arriveront pas, mais vous savez, c’est une question très complexe.

05

l’ia pourrait accélérer 100 fois les découvertes biologiques

un siècle comprimé de temps de progrès

noé smith :

si le goulot d’étranglement des ressources de l’ia réside davantage dans la puissance de calcul que dans l’énergie, alors nous aurons davantage d’avantages comparatifs dans l’utilisation de l’ia. êtes-vous fondamentalement d’accord avec ce point de vue ?

dario amodei :

oui, je pense que cela a du sens. tu veux dire, pour utiliser une métaphore un peu ridicule,si les ia sont comme les cybermen et que leur processus de création et de reproduction est très similaire à celui des humains, alors nous sommes en difficulté.mais s'il s'agit simplement d'un cluster de serveurs quelque part avec des entrées complètement différentes, alors tout va bien.

je n’y ai pas réfléchi en profondeur, mais cela semble logique à première vue. si nous étions dans une situation où l’ia remodelait le monde et où la structure économique avait changé, nous pourrions alors parler de quelque chose de différent. mais si les règles économiques normales s’appliquent toujours, et je pense qu’elles le seront pendant un certain temps, cela semble alors très raisonnable.

noé smith :

mais mon autre question est la suivante : est-il nécessaire d’envisager un monde d’extrême abondance ? l'ia est si puissante qu'elle nous offre une biologie et une fabrication étonnantes, rendant tout ce que nous voulons dix fois, cent fois meilleur, etc.

dario amodei :

je pense que nous sous-estimons vraiment le potentiel de l’intelligence artificielle en biologie. il y a dix ans, lorsque j'étais dans ce domaine, l'opinion était que la qualité des données que nous obtenions en biologie était discutable, que la quantité de données que nous pouvions obtenir était limitée et que les expériences étaient souvent interrompues. bien sûr, davantage d’analyses de données, de big data et d’intelligence artificielle sont une bonne chose, mais au mieux, ils joueront un rôle de soutien. peut-être qu’avec l’avènement d’alpha fold, cela change.

mais mon point de vue est que les modèles d’ia peuvent agir en tant que biologistes ou co-biologistes. si nous pensons à la biologie vraiment avancée, c’est comme si plusieurs technologies alimentaient tout de manière vraiment disproportionnée. par exemple, le séquençage du génome, la capacité de lire le génome, constitue le fondement de la biologie moderne. la technologie crispr la plus récente est la possibilité de modifier le génome. si nous pouvons utiliser l’ia correctement, elle peut multiplier par 10, voire 100, la vitesse à laquelle nous faisons ces découvertes.

prenez crispr, par exemple, qui a été assemblé à partir du système immunitaire bactérien et dont l’invention a nécessité 30 ans. je pense que si nous pouvons considérablement augmenter la vitesse à laquelle ces découvertes sont faites, nous augmenterons également considérablement la vitesse à laquelle les maladies peuvent être guéries.

ma pensée est la suivante : pouvons-nous freiner le progrès au 21e siècle ? pouvons-nous réaliser tous les progrès biologiques du 21e siècle en utilisant l’ia pour les accélérer d’un facteur 10 ?si vous pensez à tous les progrès que nous avons réalisés en biologie au 20e siècle et que vous les comprenez sur cinq à dix ans, à mon avis, c'est le bon côté. je pense que cela peut être vrai. nous pourrions guérir les maladies qui nous tourmentent depuis des millénaires, ce qui, bien sûr, augmenterait considérablement la productivité, élargirait le gâteau économique et prolongerait la durée de vie humaine.