nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapport sur le cœur de la machine

Editeur : Asia Oriole, Big Pan Chicken, Du Wei

Le conflit entre l'open source et le fermé dure depuis longtemps et il a peut-être atteint un nouveau point culminant.

En ce qui concerne les grands modèles open source, la série Llama est un représentant typique depuis sa naissance. Ses excellentes performances et ses fonctionnalités open source ont considérablement amélioré l'applicabilité et l'accessibilité de la technologie de l'intelligence artificielle. Tout chercheur et développeur peut en bénéficier, rendant ainsi la recherche et les applications plus répandues.

Maintenant, Meta Llama 3.1 405B est officiellement publié. Sur le blog officiel, Meta a déclaré : « Jusqu'à aujourd'hui, les grands modèles de langage open source étaient pour la plupart à la traîne des modèles fermés en termes de fonctionnalités et de performances. Nous inaugurons désormais une nouvelle ère dirigée par l'open source.

Dans le même temps, le fondateur et PDG de Meta, Zuckerberg, a personnellement écrit un long article expliquant l'importance de l'open source pour tous les développeurs, pour Meta et pour le monde. Il a déclaré que l’open source est une condition nécessaire au développement positif de l’IA. En prenant comme exemple le développement d'Unix et de Linux, l'IA open source sera plus propice à l'innovation, à la protection des données et à la rentabilité.

Il estime également que le modèle open source Llama peut établir un écosystème complet pour garantir le progrès technologique et ne pas perdre les avantages dus à la concurrence. Meta a une histoire réussie en matière d'open source. Grâce à des modèles d'IA open source, Zuckerberg espère promouvoir l'égalité et l'application sûre de la technologie mondiale.

Lien d'origine : https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

Voici le contenu original :

Zuckerberg injecte des gènes open source dans Meta

Aux débuts du calcul haute performance, les grandes entreprises technologiques ont investi massivement dans le développement de leurs propres versions fermées d’Unix. À l’époque, il était difficile d’imaginer une autre manière de développer des logiciels aussi avancés.

Cependant, Linux open source est progressivement devenu populaire : initialement parce qu'il permettait aux développeurs de modifier librement le code et était plus abordable, mais plus tard, il est devenu plus avancé, plus sécurisé et disposait d'un écosystème plus large que n'importe quel Unix source fermé, prenant en charge plus de nombreuses fonctions. Aujourd'hui, Linux constitue la base standard de l'industrie pour le cloud computing et le système d'exploitation qui exécute la plupart des appareils mobiles, et tout le monde bénéficie de ses produits de qualité supérieure.

Je pense que le développement de l’intelligence artificielle suivra une trajectoire similaire.Aujourd’hui, certaines entreprises technologiques développent des modèles open source de pointe, mais l’open source comble rapidement l’écart.

L'année dernière, le Llama 2 n'était comparable qu'à un modèle d'une génération plus ancienne. Et cette année, le Llama 3 rivalise déjà, voire devance, les modèles phares du secteur dans certains domaines. À partir de l’année prochaine, nous nous attendons à ce que les futurs modèles Llama soient les grands modèles les plus avancés de l’industrie. Llama a également ouvert la voie en matière d'ouverture, de modifiabilité et de rentabilité.

Aujourd’hui, nous passons à l’étape suivante : faire de l’IA open source la norme de l’industrie. Nous avons publié le premier modèle d'IA open source de pointe, Llama 3.1 405B, ainsi que des versions améliorées des modèles Llama 3.1 70B et 8B. Par rapport aux modèles open source, ces modèles open source sont nettement plus rentables, en particulier la nature open source du modèle 405B, ce qui en fait le meilleur choix pour affiner et distiller les petits modèles.

En plus de publier ces modèles, nous travaillons également avec plusieurs entreprises pour élargir l'écosystème au sens large. Amazon, Databricks et Nvidia lancent des suites complètes de services pour permettre aux développeurs d'affiner et de distiller leurs propres modèles. Des innovateurs comme Groq ont créé des services d'inférence à faible latence et à faible coût pour tous les nouveaux modèles.

Ces modèles seront disponibles sur toutes les principales plateformes cloud, notamment AWS, Azure, Google, Oracle et autres. Scale.AI, Dell, Deloitte et d'autres sont déjà prêts à aider les entreprises à adopter Llama et à former des modèles personnalisés à l'aide de leurs propres données. À mesure que la communauté se développe et que de plus en plus d’entreprises développent de nouveaux services, nous pouvons ensemble faire de Llama la norme de l’industrie et apporter les avantages de l’IA à tous.

Meta s'engage en faveur de l'IA open source. Voici les raisons pour lesquelles je pense que l'open source est la meilleure plate-forme de développement, pourquoi l'open source Llama est bon pour Meta et pourquoi l'IA open source est bonne pour le monde et existera pendant longtemps. .

IA open source pour les développeurs

Lorsque je parle à des développeurs, des PDG et des représentants gouvernementaux du monde entier, j'entends généralement quelques thèmes :

• Nous devons former, affiner et distiller nos propres modèles. Chaque organisation a des besoins différents qui sont mieux satisfaits en utilisant des modèles formés ou affinés à différentes échelles et avec des données spécifiques. Les tâches sur l'appareil et les tâches de classification nécessitent de petits modèles, tandis que les tâches plus complexes nécessitent des modèles de grande taille. Vous pouvez désormais prendre des modèles de lamas de pointe, continuer à les entraîner sur vos propres données, puis les distiller jusqu'à la taille de modèle qui correspond le mieux à vos besoins - sans que nous ni personne d'autre ne puissions voir vos données.
• Nous devons contrôler notre propre destin et ne pas être « enfermés » par des fournisseurs fermés. De nombreuses organisations ne veulent pas s’appuyer sur un modèle qu’elles ne peuvent pas gérer et contrôler elles-mêmes. Ils ne veulent pas que les fournisseurs de modèles fermés puissent modifier le modèle, modifier les conditions d'utilisation ou même arrêter complètement le service. Ils ne veulent pas non plus être enfermés dans une seule plateforme cloud avec des droits exclusifs sur leurs modèles. L'Open Source permet un large écosystème de chaînes d'outils compatibles entre lesquelles vous pouvez facilement basculer.
• Nous devons protéger nos données. De nombreuses organisations gèrent des données sensibles qui doivent être protégées et ne peuvent pas être envoyées vers un modèle source fermé via des API cloud. Certaines organisations ne font tout simplement pas confiance aux fournisseurs de modèles fermés pour leurs données. L'open source résout ces problèmes car il vous permet d'exécuter le modèle où vous le souhaitez. Il est bien connu que les logiciels open source sont plus sécurisés car le processus de développement est plus transparent.
• Nous avons besoin d’un modèle efficace et économique.Les développeurs peuvent exécuter Llama 3.1 405B sur leur propre infrastructure pour l'inférence à environ 50 % du coût d'utilisation de modèles à source fermée (tels que GPT-4), adaptés aux tâches d'inférence côté utilisateur et hors ligne.
• Nous souhaitons investir dans des écosystèmes qui deviendront la norme à long terme.Beaucoup voient l’open source évoluer plus rapidement que les modèles fermés et souhaitent construire leurs systèmes sur une architecture qui offre les plus grands avantages sur le long terme.

L'IA open source vers Meta

Le modèle commercial de Meta consiste à créer les meilleures expériences et services pour les gens. Pour y parvenir, nous devons veiller à toujours avoir accès à la meilleure technologie et ne pas être enfermés dans un écosystème fermé de concurrents afin qu’ils ne puissent pas limiter ce que nous développons.

Je souhaite partager une expérience importante : bien qu'Apple nous permette de créer du contenu sur sa plateforme, nous sommes toujours limités lorsqu'il s'agit de créer des services. Qu'il s'agisse des taxes qu'ils imposent aux développeurs, des règles arbitraires qu'ils imposent ou de toutes les innovations produits qu'ils empêchent, il est clair que si nous pouvons créer la meilleure version de notre produit et que les concurrents ne peuvent pas limiter ce que nous construisons, Meta et bien d'autres les entreprises seront en mesure de fournir de meilleurs services aux gens. Sur le plan philosophique, c'est l'une des principales raisons pour lesquelles je crois si fermement à la construction d'un écosystème ouvert pour la prochaine génération d'ordinateurs dans les domaines de l'IA et de l'AR/VR.

Les gens me demandent souvent si je crains de perdre un avantage technique en open source Llama, mais je pense que cela passe à côté de la situation dans son ensemble pour plusieurs raisons :

Premièrement, pour garantir que nous pouvons maintenir notre leadership technologique à long terme et ne pas être enfermés dans un écosystème à source fermée, Llama doit évoluer vers un écosystème complet comprenant des outils, des améliorations d'efficacité, des optimisations matérielles et d'autres intégrations. Si notre entreprise était la seule à utiliser Llama, l’écosystème ne se développerait pas et nous ne serions pas mieux lotis qu’avec les variantes fermées d’Unix.

Deuxièmement, je m’attends à ce que le développement de l’IA continue d’être très compétitif, ce qui signifie qu’ouvrir un modèle à un moment donné ne nous coûtera pas un énorme avantage dans la concurrence contre le meilleur modèle suivant.Le chemin de Llama pour devenir un standard de l'industrie consiste à rester compétitif, efficace et ouvert génération après génération.

Troisièmement, une différence clé entre les fournisseurs de modèles Meta et les fournisseurs de modèles fermés est que vendre l’accès aux modèles d’IA ne fait pas partie de notre modèle commercial. Cela signifie que la publication publique de Llama ne nuira pas à nos revenus, à notre durabilité ou à notre capacité à investir dans la recherche, contrairement aux fournisseurs fermés. (C’est l’une des raisons pour lesquelles certains fournisseurs de sources fermées font pression sur les administrateurs publics contre l’open source.)

Enfin, Meta possède une riche expérience réussie en matière de projets open source. Nous avons économisé des milliards de dollars en partageant nos conceptions de serveurs, de réseaux et de centres de données avec l'Open Compute Project et en standardisant la chaîne d'approvisionnement. En open source des outils de pointe tels que PyTorch, React et bien d’autres, nous bénéficions grandement de l’innovation dans l’écosystème. Cette approche est extrêmement efficace depuis longtemps.

L'IA open source au monde

Je pense que l'open source est nécessaire pour l'avenir de l'IA. L’IA a plus de potentiel que toute autre technologie moderne pour accroître la productivité humaine, la créativité et la qualité de vie, et pour faire progresser la recherche médicale et scientifique tout en accélérant la croissance économique.L’open source garantira qu’un plus grand nombre de personnes dans le monde puissent bénéficier des avantages et des opportunités du développement de l’IA, que le pouvoir ne soit pas concentré entre les mains de quelques entreprises et que la technologie puisse être déployée de manière plus uniforme et plus sûre dans la société.

Il y a un débat en cours sur la sécurité des modèles d'IA open source. Ce que je veux dire, c’est que l’IA open source sera plus sûre que les alternatives. Je pense que les gouvernements finiront par conclure qu’ils soutiennent l’open source parce que cela rendra le monde plus prospère et plus sûr.

Dans le cadre de sécurité que je comprends, nous devons nous protéger contre deux types de dommages : involontaires et intentionnels.

• Les dommages involontaires font référence à la possibilité qu'un système d'IA puisse involontairement causer des dommages pendant son fonctionnement. Par exemple, les modèles d’IA modernes peuvent donner par inadvertance des conseils de santé incorrects. Ou bien, dans les scénarios futurs, on craint que les modèles puissent se reproduire par inadvertance ou sur-optimiser les objectifs, au détriment des humains.
• On parle de préjudice intentionnel lorsque de mauvais acteurs utilisent un modèle d’IA dans l’intention de causer du tort.

Il convient de noter que les dommages involontaires couvrent la plupart des préoccupations des gens à propos de l’IA, depuis l’impact des systèmes d’IA sur des milliards d’utilisateurs jusqu’aux scénarios de science-fiction les plus catastrophiques. À cet égard, la sécurité offerte par l’open source est encore plus significative car le système est plus transparent et peut être largement scruté.

Historiquement, les logiciels open source ont été plus sécurisés pour cette raison. De même, l'utilisation de Llama et de ses systèmes de sécurité tels que Llama Guard peut être plus sûre et plus fiable qu'un modèle fermé. En conséquence, la plupart des discussions sur la sécurité de l’IA open source se concentrent sur les dommages intentionnels.

Notre processus de sécurité comprend des tests rigoureux et des évaluations par l'équipe rouge pour vérifier si nos modèles sont susceptibles de causer des dommages matériels, dans le but d'atténuer les risques avant leur publication. Ces modèles étant open source, chacun peut les tester lui-même. Nous devons garder à l’esprit que ces modèles sont formés à partir d’informations déjà disponibles sur Internet. Par conséquent, lorsqu’on examine les dommages, le point de départ doit être de savoir si le modèle peut causer plus de dommages que les informations rapidement obtenues à partir de Google ou d’autres résultats de recherche.

Il serait utile de raisonner sur les dommages intentionnels en distinguant ce que peuvent faire des acteurs individuels ou à petite échelle de ce que peuvent faire des acteurs à grande échelle dotés de vastes ressources, tels que les États.

À un moment donné dans le futur, des acteurs malveillants individuels pourraient exploiter l’intelligence des modèles d’IA pour créer de nouveaux types de dommages à partir d’informations déjà disponibles sur Internet. À ce stade, l’équilibre des pouvoirs est essentiel à la sécurité de l’IA.

Je pense qu’il vaudrait mieux vivre dans un monde où l’IA serait largement déployée, permettant aux grands acteurs de contrebalancer les petits acteurs malveillants. C’est également ainsi que nous gérons la sécurité sur les réseaux sociaux, avec des systèmes d’IA plus puissants identifiant et bloquant les acteurs moins sophistiqués qui utilisent souvent des systèmes d’IA à plus petite échelle.

Plus largement, les grandes institutions contribueront à la sécurité et à la stabilité de la société lorsqu’elles déploieront l’IA à grande échelle. Tant que chacun aura accès à un modèle générationnel, les gouvernements et les institutions disposant de plus de ressources informatiques seront en mesure de contrebalancer les acteurs malveillants avec moins de ressources informatiques.

Lorsque vous envisagez des opportunités futures, n'oubliez pas que la plupart des principales entreprises technologiques et de la recherche scientifique d'aujourd'hui reposent sur des logiciels open source. Si nous investissons ensemble dans l’IA open source, la prochaine génération d’entreprises et de chercheurs y aura accès. Cela inclut les start-ups qui viennent tout juste de démarrer, ainsi que les personnes travaillant dans des universités et des pays qui ne disposent peut-être pas des ressources nécessaires pour développer SOTA AI à partir de zéro.

Dans l’ensemble, l’IA open source représente la plus grande utilisation mondiale possible de cette technologie pour créer des opportunités économiques et la sécurité pour tous.

La coopération est stable, l'open source est de grande envergure

Dans les modèles Llama précédents, Meta a publié ces modèles pour son propre développement sans se concentrer sur la construction d'un écosystème plus large. Pour ce lancement, nous avons adopté une approche différente. Nous construisons des équipes en interne pour rendre Llama accessible au plus grand nombre de développeurs et de partenaires possible, et construisons activement des partenariats afin que davantage d'entreprises de l'écosystème puissent offrir des capacités uniques à leurs clients.

Je pense que la sortie de Llama 3.1 marquera un tournant dans l'industrie, et que la plupart des développeurs commenceront à utiliser la technologie open source, et je prédis que cette approche commencera avec notre open source.

J’espère que nous pourrons travailler ensemble pour apporter les avantages de l’IA au monde.

Vous pouvez accéder à ces modèles dès maintenant sur lama.meta.com.

Marc Zuckerberg