nouvelles

Visite de la nouvelle productivité de Pékin · Hors du laboratoire | Grand modèle invisible, productivité visible

2024-08-05

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

En 2017, l'intelligence artificielle a été incluse pour la première fois dans le rapport d'activité du gouvernement chinois et est devenue une stratégie nationale. En 2018, l'Institut de recherche sur l'intelligence artificielle Zhiyuan de Pékin (ci-après dénommé « Zhiyuan ») est né dans un petit bureau du leader. espace d’innovation. À cette époque, le modèle GPT de première génération lancé par OpenAI n’avait pas encore fait la une des médias.

En 2023, Zhiyuan a mis à niveau le premier modèle intelligent à très grande échelle « Wudao » de Chine vers la version 3.0, devenant ainsi l'une des trois institutions d'IA les plus avant-gardistes au monde dans l'esprit du président de Microsoft, Brad Smith. Dans le domaine des grands modèles, Zhiyuan est la seule institution de recherche non commerciale au monde qui n'est pas soutenue par un grand fabricant. C'est également la première nouvelle institution de recherche en Chine à proposer systématiquement une recherche et un développement technologique sur de grands modèles. source de construction écologique, de formation des talents et de culture d'entreprise.

« L'égalité des droits dans la science et la technologie a toujours donné lieu à des opportunités industrielles majeures dans le passé. Wang Zhongyuan, le nouveau président de Zhiyuan, qui possède à la fois une expérience en entreprise et une formation dans des instituts de recherche, a une compréhension plus approfondie des industries axées sur la technologie. . La définition nationale de l’intelligence artificielle est également plus précise : l’intelligence artificielle est un moteur important pour le développement de nouvelles forces productives.


Travaillez dur pour garder une longueur d'avance sur la tempête

Une ou deux fois, le PDG de Dark Side of the Moon, Yang Zhilin, a été entouré de participants au moins trois fois lors de la conférence Zhiyuan de Pékin en 2024. Lorsque le fondateur d'OpenAI, Sam Altman, a prononcé un discours vidéo à la conférence Zhiyuan il y a un an, l'agitation était tout aussi évidente. .

De 2023 à 2024, scientifiques en IA, PDG de grandes entreprises technologiques et fondateurs de start-ups stars se réuniront dans divers lieux pour prêcher sur les grands modèles, qu'ils soient experts techniques ou non, tout le monde sur scène en a plus ou moins entendu parler. Le nom Zhiyuan. Beaucoup d’entre eux étaient directement impliqués dans les projets de recherche sur les modèles à grande échelle de Zhiyuan. Wang Haifeng, directeur technique de Baidu, a été directeur de Zhiyuan, Tang Jie, fondateur de Zhipu AI, a été vice-président de Zhiyuan et Yang Zhilin a participé à la recherche et au développement de Wu Dao.

Ces pionniers de l'IA ne se sont pas impliqués dans Zhiyuan pour le moment, et Zhiyuan ne s'est pas impliqué dans les grands modèles seulement après qu'ils soient devenus populaires.

En 2019, Zhiyuan a commencé à concevoir de grands modèles. En 2020, elle a créé une équipe de recherche Wudao et lancé la recherche et le développement de grands modèles. En mars 2021, le grand modèle Wu Dao 1.0 a été lancé pour la première fois, et en juin, il a lancé Wu Dao 2.0 en utilisant 1,75 billion de paramètres pour créer le record du grand modèle « le plus grand du monde » à l'époque. Le grand modèle GPT-3 le plus avancé d'OpenAI à l'époque, 10 fois le nombre de paramètres.

La recherche scientifique prête attention au somatosensoriel, pose des questions et porte des jugements. Le jugement selon lequel « l'ère des grands modèles d'intelligence artificielle approche » a donné à Zhiyuan un courage sans réserve. Même le terme chinois « grand modèle » a été proposé pour la première fois par Zhiyuan.

Qu'est-ce qu'un grand modèle ? Huang Tiejun, président de l'Institut de recherche Zhiyuan, estime que trois conditions doivent être remplies : à grande échelle, avec des paramètres dépassant les dizaines de milliards, capable de produire de nouvelles capacités inattendues et polyvalentes, non limitées à des problèmes ou des domaines spécialisés, capables de gérer ; Beaucoup de tâches différentes.

En 2023, les grands modèles seront dévoilés au public. Les modèles de la série Wudao ont été mis à niveau vers la version 3.0, couvrant les grands modèles de base tels que le langage, la vision et la multimodalité, et sont entièrement open source. Dans le débat sur les modèles de base à l'Université de Stanford à cette époque, Intelligent Source était classé aux côtés de géants de la technologie tels que Google, Microsoft et Facebook (maintenant Meta), devenant ainsi l'institution représentative de la recherche sur les grands modèles dans le monde.

"L'émergence de la plupart des résultats de recherche dans l'histoire a été accidentelle et personne ne pouvait la planifier. Tous les efforts visent à améliorer la probabilité - à rassembler des chercheurs exceptionnels et à leur fournir un environnement communautaire où ils peuvent confronter des idées, découvrir des problèmes et trouver des partenaires de collaboration. « La préface écrite par Zhang Hongjiang, président fondateur de l'Institut de recherche Zhiyuan, à l'autobiographie du lauréat du prix Turing, Yann LeCun, ressemble davantage à la raison pour laquelle Zhiyuan est arrivé en premier.

Faire de l'ingénierie système

Début 2018, Pékin a publié les « Mesures de mise en œuvre de Pékin pour soutenir la construction de nouvelles institutions de R&D de classe mondiale » afin de mener une réforme en avant du système scientifique et technologique. En décembre, avec les conseils et le soutien du ministère de la Science et de la Technologie, du comité municipal du Parti et du gouvernement de Pékin, Zhiyuan a été officiellement créée.

Auparavant, le processus de gestion de la recherche scientifique était complexe, avec de longs cycles depuis la proposition de projet jusqu'à la demande de financement et son examen, ce qui rendait difficile l'adaptation aux besoins en constante évolution de la recherche scientifique dans un environnement hautement compétitif. Selon ce système, l'institut de recherche a présenté des propositions de projets en octobre 2020, et la recherche sur des modèles à grande échelle ne pourra être officiellement lancée qu'en 2022 au plus tôt. Le modèle Zhiyuan a pris moins de 5 mois entre la création du projet et le lancement des grands modèles.

Il s'agit d'un nouveau type d'institution de R&D entre universités et entreprises. Xin Zai n'utilise pas d'articles comme indice d'évaluation final, ni de produits comme indice d'évaluation, mais pour construire des systèmes innovants, Xin Zai rassemble des chercheurs de différentes institutions et entreprises telles que l'Université Tsinghua, l'Université de Pékin, le laboratoire d'intelligence artificielle de Facebook, Baidu, etc. Les grandes choses, la nouveauté, c'est de s'attaquer aux grands problèmes, de garder un œil attentif sur les grandes questions scientifiques et de faire des plans d'avenir.

« Le modèle universitaire est en vigueur depuis des décennies. Il est difficile de mener une R&D systématique de manière organisée, à grande échelle et entre équipes. Les entreprises investiront également dans la R&D, mais elles sont plus enclines à la R&D qui est étroitement liée à la R&D. entreprise. Zhiyuan fera 3 à Un projet de recherche qui prendra 5 ans ou plus pour voir les résultats", a déclaré Wang Zhongyuan dans une interview exclusive avec un journaliste du Beijing Business Daily.

À l’heure actuelle, la confiance de Zhiyuan réside toujours dans la détermination du pays en matière d’intelligence artificielle. En mars 2024, Li Qiang, membre du Comité permanent du Bureau politique du Comité central du PCC et Premier ministre du Conseil d'État, l'a clairement indiqué lors d'une enquête à Pékin : l'intelligence artificielle est un moteur important pour le développement de nouvelles forces productives. .

La nouvelle productivité de qualité est une qualité de productivité avancée qui joue un rôle de premier plan dans l'innovation, rompt avec le mode de croissance économique traditionnel et la voie de développement de la productivité, présente les caractéristiques de haute technologie, de haute efficacité et de haute qualité et se conforme au nouveau concept de développement. Il est né d’avancées technologiques révolutionnaires, d’une allocation innovante des facteurs de production et d’une transformation et d’une modernisation industrielles en profondeur. "L'égalité des droits dans la science et la technologie a créé à chaque fois des opportunités industrielles majeures dans le passé, et les grands modèles peuvent apporter une nouvelle égalité dans la science et la technologie", est fermement convaincu Wang Zhongyuan.

Par exemple, les grands modèles sont porteurs de « intelligence », la vague centrée sur l'IA est constituée des opérations de renseignement, la couche inférieure est constituée de systèmes logiciels et matériels techniques, la couche supérieure est constituée d'applications d'IA et les grands modèles sont au milieu des deux. jouant le rôle de "tronc" . L'importance du grand modèle est de transformer « l'intelligence » en services publics comme l'eau, l'électricité et Internet, et de fournir des services d'IA à un grand nombre d'entreprises ou de particuliers via le cloud computing.

Il s'agit d'un projet systématique : « Cela nécessite un investissement concentré de ressources et de main-d'œuvre. Cela ne peut pas être réalisé par plusieurs personnes, mais chacun le fait séparément, mais un système technique doit être formé. Huang Tiejun a donné un exemple : « Développer l'intelligence artificielle est une nécessité ». comme la fabrication de l'acier et la production d'électricité. Un ensemble complet de systèmes techniques est nécessaire pour garantir la production d'acier de haute qualité et une production d'électricité stable à un coût relativement faible », a déclaré Huang Tiejun.

Aller plus loin que l'industrie

Le système technique construit par Zhiyuan comprend : un seau familial de grands modèles, un système d'exploitation de grands modèles, un ensemble de données, un cadre de formation, une bibliothèque d'opérateurs, etc. Ces réalisations sont accrochées au mur du premier étage du bâtiment Chiyuan avec la vision et les objectifs de Chiyuan.

La vision et les objectifs sont divisés en cinq grands secteurs, dont les mécanismes et le développement industriel, que l'on peut résumer par l'innovation. « Zhiyuan veut développer la technologie d'intelligence artificielle la plus avancée, diriger et prédire le développement de l'intelligence artificielle et aller plus loin que l'industrie, a expliqué en détail : « Zhiyuan fera des choses que les universités ne peuvent pas faire et que les entreprises ne veulent pas. à faire. Recherche et développement, des projets de recherche qui prennent 3 à 5 ans, voire plus, pour voir des résultats.

Selon lui, lorsque les capacités techniques des grands modèles atteindront un certain niveau, il y aura deux orientations principales : « l'une est l'intégration des produits, la promotion des applications et l'exercice d'une valeur commerciale, tandis que l'autre est un petit nombre. des institutions qui continuent à faire de l'itération et de l'optimisation des meilleurs grands modèles. Qu'il s'agisse d'entreprises ou d'institutions de recherche, elles devraient continuer à s'attaquer aux technologies clés.

Par exemple, dans le domaine de la multimodalité, la plupart des entreprises nationales choisissent l'architecture DiT pour la recherche et le développement. "C'est parce que le DiT est une voie éprouvée. Zhiyuan espère regrouper différentes modalités d'information, telles que le texte, les images, les vidéos et les voix, dans un seul modèle de formation dès le début." Wang Zhongyuan a utilisé l'analogie du cerveau humain, "Ce Ce grand modèle multimodal peut voir, comprendre et raisonner sur le monde. À l'avenir, les grands modèles combinés au matériel, c'est-à-dire à l'intelligence incarnée, pourront entrer dans le monde physique pour servir les humains. "

Les entreprises restent proches du marché et recherchent des scénarios ascendants, tandis que les institutions de R&D se concentrent sur les avancées technologiques de base et fournissent un soutien à la baisse. Wisdom Source appartient au deuxième type, qui est loin des applications et des scénarios, mais utilise l'open source comme support. L'industrie.

"L'intelligence artificielle n'est pas équivalente aux grands modèles, c'est juste un genre d'intelligence artificielle", a expliqué Wang Zhongyuan à un journaliste du Beijing Business Daily. Aujourd'hui, Intelligent Source met également tout en œuvre pour d'autres technologies d'intelligence artificielle telles que la recherche sur le cerveau et le cœur numérique, ce qui signifie qu'il n'y a pas de limite supérieure à l'imagination de l'intelligence artificielle dans d'autres secteurs.

Wei Wei, journaliste du Beijing Business Daily