2024-07-23
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Rapport sur le cœur de la machine
Département éditorial de Machine Heart
Préparez votre GPU !
Llama 3.1 est finalement apparu, mais la source n'est pas officielle de Meta.
Aujourd'hui, la nouvelle divulguée du nouveau modèle Llama est devenue virale sur Reddit.En plus du modèle de base, il comprend également les résultats de référence de 8B, 70B et le plus grand paramètre de 405B.。
La figure ci-dessous montre les résultats de comparaison de chaque version de Llama 3.1 avec OpenAI GPT-4o et Llama 3 8B/70B. peut être vu,Même la version 70B dépasse GPT-4o sur plusieurs benchmarks。
Source de l'image : https://x.com/mattshumer_/status/1815444612414087294
Évidemment, les modèles 8B et 70B de la version 3.1 sont distillés à partir du 405B, il y a donc une amélioration significative des performances par rapport à la génération précédente.
Certains internautes ont dit que c'étaitPour la première fois, le modèle open source a surpassé les modèles fermés tels que GPT4o et Claude Sonnet 3.5, atteignant SOTA sur plusieurs benchmarks.。
Dans le même temps, la carte modèle de Llama 3.1 a été divulguée, ainsi que les détails (la date indiquée sur la carte modèle montre qu'elle est basée sur la sortie du 23 juillet).
Quelqu’un a résumé les points saillants suivants :
Source de l'image : https://x.com/iScienceLuvr/status/1815519917715730702
Bien que le lien Github divulgué soit actuellement 404, certains internautes ont donné le lien de téléchargement (mais pour des raisons de sécurité, il est recommandé d'attendre l'annonce officielle de la chaîne ce soir) :
Cependant, il s'agit d'un grand modèle à l'échelle de centaines de milliards, veuillez donc préparer suffisamment d'espace disque dur avant de télécharger :
Voici le contenu important de la carte modèle Llama 3.1 :
Informations de base sur le modèle
L'ensemble Meta Llama 3.1 Multilingual Large Language Model (LLM) est un ensemble de modèles génératifs pré-entraînés et affinés avec des instructions de tailles 8B, 70B et 405B (saisie de texte/sortie de texte). Les modèles texte uniquement affinés par commande Llama 3.1 (8B, 70B, 405B) sont optimisés pour les cas d'utilisation de conversations multilingues et surpassent de nombreux modèles de discussion open source et fermés disponibles sur les références courantes de l'industrie.
Architecture du modèle : Llama 3.1 est un modèle de langage autorégressif optimisé pour l'architecture Transformer. La version affinée utilise SFT et RLHF pour aligner les préférences d'utilisabilité et de sécurité.
Langues prises en charge : anglais, allemand, français, italien, portugais, hindi, espagnol et thaï.
On peut déduire des informations sur la carte modèle queLes modèles de la série Llama 3.1 ont une longueur de contexte de 128 Ko . Toutes les versions du modèle utilisent Grouped Query Attention (GQA) pour améliorer l'évolutivité de l'inférence.
utilisation prévue
Cas d’utilisation prévus. Llama 3.1 est destiné à être utilisé dans les applications commerciales et la recherche multilingues. Les modèles textuels adaptés aux instructions conviennent au chat de type assistant, tandis que les modèles pré-entraînés peuvent être adaptés à une variété de tâches de génération de langage naturel.
L'ensemble de modèles Llama 3.1 prend également en charge la possibilité d'exploiter les résultats de son modèle pour améliorer d'autres modèles, notamment la génération et la distillation de données synthétiques. La licence communautaire Llama 3.1 autorise ces cas d'utilisation.
Llama 3.1 s'entraîne sur un ensemble de langues plus large que les 8 langues prises en charge. Les développeurs peuvent affiner les modèles Llama 3.1 pour des langues autres que les 8 langues prises en charge, à condition qu'ils respectent le contrat de licence communautaire Llama 3.1 et la politique d'utilisation acceptable, et sont responsables dans de tels cas de garantir que d'autres langues sont utilisées dans de manière sûre et responsable Langue Lama 3.1.
Infrastructure logicielle et matérielle
Le premier est l'élément de formation. Llama 3.1 utilise une bibliothèque de formation personnalisée, le cluster GPU personnalisé de Meta et l'infrastructure de production pour la pré-formation. Il est également affiné, annoté et évalué sur l'infrastructure de production.
La seconde est la consommation d'énergie de la formation. La formation Llama 3.1 utilise un total de 39,3 millions d'heures de calcul GPU sur du matériel de type H100-80GB (TDP est de 700W). Ici, le temps de formation est le temps total du GPU requis pour former chaque modèle, et la consommation d'énergie est la capacité de puissance maximale de chaque périphérique GPU, ajustée en fonction de l'efficacité énergétique.
Formation sur les émissions de gaz à effet de serre. Les émissions totales de gaz à effet de serre, basées sur des références géographiques, pendant la période de formation de Llama 3.1 sont estimées à 11 390 tonnes d'équivalent CO2. Depuis 2020, Meta a maintenu zéro émission nette de gaz à effet de serre dans l'ensemble de ses opérations mondiales et a associé 100 % de sa consommation d'électricité à des énergies renouvelables, ce qui a abouti à des émissions totales de gaz à effet de serre basées sur le marché de 0 tonne d'équivalent CO2 pendant la période de formation.
Les méthodes utilisées pour déterminer la consommation d’énergie et les émissions de gaz à effet de serre de la formation peuvent être trouvées dans l’article suivant. Étant donné que Meta publie ces modèles publiquement, d'autres n'ont pas besoin de supporter le fardeau de la formation sur la consommation d'énergie et les émissions de gaz à effet de serre.
Adresse papier : https://arxiv.org/pdf/2204.05149
données d'entraînement
Présentation : Llama 3.1 est pré-entraîné à l'aide d'environ 15 000 milliards de données symboliques provenant de sources publiques. Les données de réglage fin incluent des ensembles de données d'instructions accessibles au public et plus de 25 millions d'exemples générés synthétiquement.
Fraîcheur des données : la date limite pour les données de pré-formation est décembre 2023.
Note de référence
Dans cette section, Meta rapporte les résultats de notation du modèle Llama 3.1 sur le benchmark d'annotation. Pour toutes les évaluations, Meta utilise des bibliothèques d'évaluation internes.
Considérations sur les risques de sécurité
L'équipe de recherche de Llama s'engage à fournir à la communauté des chercheurs des ressources précieuses pour étudier la robustesse du réglage fin sécurisé et à fournir aux développeurs des modèles prêts à l'emploi sécurisés et robustes pour une variété d'applications afin de réduire le travail des développeurs déployant une IA sécurisée. quantité de systèmes.
L’équipe de recherche a utilisé une approche de collecte de données à multiples facettes combinant les données générées par les humains auprès des fournisseurs avec des données synthétiques pour atténuer les risques de sécurité potentiels. L'équipe de recherche a développé un certain nombre de classificateurs basés sur un grand modèle de langage (LLM) pour sélectionner judicieusement des invites et des réponses de haute qualité, améliorant ainsi le contrôle de la qualité des données.
Il convient de mentionner que Llama 3.1 attache une grande importance au modèle de rejet des invites bénignes et du ton de rejet. L’équipe de recherche a introduit des invites de limites et des invites contradictoires dans la politique de données de sécurité et a modifié la réponse aux données de sécurité pour suivre les directives de ton.
Le modèle Llama 3.1 n'est pas conçu pour être déployé de manière autonome, mais doit être déployé dans le cadre d'un système d'IA global, avec des « garde-corps de sécurité » supplémentaires fournis si nécessaire. Les développeurs doivent déployer des mesures de sécurité du système lors de la création de systèmes d'agents.
Notez que cette version introduit de nouvelles fonctionnalités, notamment des fenêtres contextuelles plus longues, des entrées et sorties multilingues et une éventuelle intégration des développeurs avec des outils tiers. Lors de la création de ces nouvelles fonctionnalités, en plus de prendre en compte les meilleures pratiques qui s'appliquent généralement à tous les cas d'utilisation de l'IA générative, vous devez également accorder une attention particulière aux problèmes suivants :
Utilisation des outils : comme pour le développement de logiciels standard, les développeurs sont responsables de l'intégration de LLM aux outils et services de leur choix. Ils doivent élaborer des politiques claires pour leurs cas d'utilisation et évaluer l'intégrité des services tiers qu'ils utilisent afin de comprendre les limites de sûreté et de sécurité lors de l'utilisation de cette fonctionnalité.
Multilingue : Lama 3.1 prend en charge 7 langues en plus de l'anglais : français, allemand, hindi, italien, portugais, espagnol et thaï. Llama peut être capable de produire du texte dans d'autres langues, mais ce texte peut ne pas répondre aux seuils de performances de sécurité et d'assistance.
Les valeurs fondamentales de Llama 3.1 sont l’ouverture, l’inclusion et la serviabilité. Il est conçu pour servir tout le monde et convient à une variété de cas d’utilisation. Par conséquent, Llama 3.1 est conçu pour être accessible aux personnes de tous horizons, expériences et perspectives. Llama 3.1 est centré sur les utilisateurs et leurs besoins, sans insérer de jugements ou de normes inutiles, tout en reflétant également la reconnaissance du fait que même un contenu qui peut sembler problématique dans certains contextes peut être utile dans d'autres. Llama 3.1 respecte la dignité et l'autonomie de tous les utilisateurs et, en particulier, respecte les valeurs de libre pensée et d'expression qui alimentent l'innovation et le progrès.
Mais Llama 3.1 est une nouvelle technologie et, comme toute nouvelle technologie, son utilisation comporte des risques. Les tests effectués jusqu’à présent n’ont pas couvert et ne peuvent pas couvrir toutes les situations. Par conséquent, comme tous les LLM, les résultats potentiels de Llama 3.1 ne peuvent pas être prédits à l'avance et, dans certains cas, le modèle peut répondre aux invites de l'utilisateur de manière inexacte, biaisée ou inacceptable. Par conséquent, avant de déployer une application du modèle Llama 3.1, les développeurs doivent effectuer des tests de sécurité et des réglages précis pour l'application spécifique du modèle.
Source de la carte modèle : https://pastebin.com/9jGkYbXY
Informations de référence : https://x.com/op7418/status/1815340034717069728
https://x.com/iScienceLuvr/status/1815519917715730702
https://x.com/mattshumer_/status/1815444612414087294
Collectez et organisez les dernières informations d'actualité et rendez-les gratuites pour que tout le monde puisse les consulter.
