nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Dans la soirée du 23 juillet, heure de Pékin, Meta a officiellement publié la dernière série open source grand modèle Llama 3.1, réduisant encore davantage l'écart entre les modèles open source et les modèles fermés. Llama 3.1 comprend 3 tailles de paramètres de 8B, 70B et 450B. Le modèle de paramètres 450B a surpassé le GPT-4o d'OpenAI dans plusieurs tests de référence et est comparable aux principaux modèles à source fermée tels que Claude 3.5 Sonnet.

Le fondateur et PDG de Meta, Zuckerberg, a publié un blog sur le site officiel en même temps pour donner une dynamique à cette version. Il a déclaré que la version Llama 3.1 deviendra un tournant dans l'industrie. La plupart des développeurs commenceront à utiliser principalement l'open source et l'open. source L'IA est l'avenir du développement.

Jim Fan, chercheur principal chez NVIDIA, a publié un article sur X pour féliciter l'équipe Meta. Il a mentionné : "La puissance de GPT-4 est entre nos mains. (C'est) un moment véritablement historique."

En termes de détails spécifiques, la fenêtre contextuelle du modèle des trois versions de Llama 3.1 est passée de 8 Ko à 128 Ko, agrandie 16 fois et prend en charge 8 langues en même temps. Le modèle Llama 3.1 -405B a utilisé plus de 15 000 milliards de jetons pour la formation, et pour atteindre cette échelle de formation, l'équipe a utilisé 16 000 GPU H100. Officiellement, le modèle 405B est le premier modèle Lama entraîné à cette échelle.

Les grands modèles de langages open source sont généralement à la traîne des modèles fermés en termes de fonctionnalités et de performances, « mais nous entrons maintenant dans une nouvelle ère dirigée par l’open source ».

Dans le blog officiel, Meta a évalué les performances de plus de 150 ensembles de données de référence et a comparé les performances de Llama 3.1 avec d'autres modèles. Le modèle phare Llama 3.1 -405B peut rivaliser avec GPT dans une série de tâches telles que le bon sens, l'opérabilité, et mathématiques -4, GPT-4o est comparable à Claude 3.5 Sonnet. De plus, les petits modèles 8B et 70B sont compétitifs par rapport aux modèles open source et fermés avec un nombre de paramètres similaire.

Dans des scénarios réels, Llama 3.1 405B a été comparé à une évaluation humaine et ses performances globales étaient meilleures que celles de GPT-4o et Claude 3.5 Sonnet.

Cette fois, Meta a également mis à jour la licence open source, permettant aux développeurs d'utiliser pour la première fois la sortie du modèle Llama (y compris 405B) pour améliorer d'autres modèles. En analysant GPT-4o, les responsables ont déclaré qu'ils utiliseraient également une méthode combinée pour intégrer les fonctions d'image, de vidéo et de voix dans Llama 3, afin que le modèle puisse reconnaître les images et les vidéos et prendre en charge l'interaction par la voix. Cependant, cette fonctionnalité est encore en cours de développement et n’est pas encore prête à être publiée.

Sur le blog officiel, Meta a déclaré que le total des téléchargements de toutes les versions de Llama a jusqu'à présent dépassé les 300 millions de fois.

En plus de cette version du modèle, Zuckerberg a également publié un long article "Open Source AI Is the Path Forward" sur le site officiel, qui mentionnait l'importance de l'open source. Il estime que l'open source est bénéfique pour tous les développeurs, pour Meta et. au monde est une bonne chose.

Zuckerberg a cité comme exemple la victoire du système open source Linux sur le système fermé Unix et a estimé que l'intelligence artificielle se développerait de la même manière. "Plusieurs entreprises technologiques développent des modèles fermés de premier plan, mais l'open source réduit rapidement l'écart." Il a mentionné que l'année dernière, Llama 2 ne pouvait être comparé qu'au modèle de l'ancienne génération. Et cette année, le Llama 3 est compétitif dans certains domaines et même devant les modèles les plus avancés dans certains domaines.

Zuckerberg estime que l'open source peut promouvoir l'innovation, réduire les coûts et améliorer la sécurité. Pour les développeurs, tirer parti de l'open source vous permet de former, d'affiner et de distiller vos propres modèles. Chaque organisation a des besoins différents, et ces besoins sont mieux satisfaits en utilisant des modèles de différentes tailles qui sont formés ou affinés sur des données spécifiques. de.

Dans le même temps, les développeurs ne sont pas confinés à des fournisseurs fermés pour protéger la sécurité des données. "Les logiciels open source ont tendance à être plus sécurisés car leur développement est plus transparent et peut être largement révisé", estime Zuckerberg.

Zuckerberg a également mentionné que le modèle open source est moins cher et plus efficace. Les développeurs peuvent exécuter l'inférence sur Llama 3.1 405B sur leur propre infrastructure pour un coût d'environ 50 % par rapport à l'utilisation d'un modèle fermé comme GPT-4o %, adapté à l'interface utilisateur. et tâches d'inférence hors ligne.

"L'intelligence artificielle open source représente la meilleure opportunité au monde." Selon Zuckerberg, l'utilisation de cette technologie peut créer les plus grandes opportunités économiques et la plus grande sécurité.