nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

La rubrique AIxiv est une rubrique dans laquelle Machine Heart publie du contenu académique et technique. Au cours des dernières années, la rubrique Heart of the Machine AIxiv a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : [email protected] ; [email protected] ;

Les auteurs de cet article sont tous du laboratoire Noah de Huawei. Le premier auteur est Li Wenshuo et les auteurs correspondants sont Wang Yunhe et Chen Xinghao. Ces dernières années, les équipes concernées ont publié un certain nombre d'ouvrages représentatifs lors de conférences de premier plan telles que ICML, CVPR, NeurIPS, ICCV et ECCV. Elles ont produit de riches résultats dans des domaines tels que les grands modèles de langage efficaces et les modèles visuels, et ont coopéré avec. des universités et des instituts de recherche scientifique de renom sont étendus.

En tant que « roi du trafic » bien mérité dans l'industrie et le monde universitaire actuels de l'IA, les grands modèles ont attiré un grand nombre d'universitaires et d'entreprises à investir des ressources dans la recherche et la formation. À mesure que l’échelle augmente, les problèmes de système et d’ingénierie sont devenus des problèmes inévitables dans la formation de grands modèles. Par exemple, au cours de la formation de 54 jours de Llama3.1, le système s'est écrasé 466 fois, en moyenne une fois toutes les 2,78 heures !

Des contrôles de stockage fréquents sont alors nécessaires. Mais le stockage des points de contrôle est aussi un grand projet en soi.

Meta a déployé de nombreux efforts pour accélérer les temps de point de contrôle du stockage et augmenter la fréquence de stockage afin de lutter contre les pannes fréquentes du système. Mais un stockage fréquent signifie également une surcharge importante en ressources de stockage. Son cluster de formation est équipé d'un SSD de 240 Po pour relever ce défi. Le coût du stockage à lui seul est de 100 millions de yuans !

La méthode ExCP de Huawei Noah a vu le jour. Afin de faire face à l'énorme surcharge causée par le stockage, ils ont proposé une technologie de point de contrôle de compression extrême, qui peut compresser le modèle 70 fois sans perte, réduisant ainsi considérablement la surcharge de stockage pendant la formation.

Le code est désormais open source et publié sous le framework Apache 2.0. Certains partenaires du problème ont réussi à reproduire les résultats.

• Adresse de l'article : https://arxiv.org/abs/2406.11257
• Adresse de l'entrepôt : https://github.com/Gaffey/ExCP

La méthode est également très innovante. Deux concepts importants sont mentionnés dans l'article. L'un consiste à utiliser les informations résiduelles des points de contrôle lors de la formation pour obtenir un taux d'élagage plus élevé grâce à la rareté des informations sur les séries temporelles. et les poids sont combinés pour la compression afin d'obtenir un taux de compression global élevé.

méthode spécifique

1. Résidus de point de contrôle

Pendant le processus de formation, les paramètres actuels peuvent être considérés comme le poids stocké dans le point de contrôle précédent plus la somme des mises à jour du gradient dans les itérations successives. Cette partie est relativement clairsemée et contient moins d'informations, donc ce résidu est compressé, une meilleure compression. rapport peut être obtenu. Au contraire, l'élan stocké dans l'optimiseur est la moyenne glissante des premier et deuxième instants du gradient. Pour le premier instant, le paramètre par défaut de la moyenne glissante est de 0,9, qui varie de centaines à milliers. il n'y a pas beaucoup de corrélation avec le contenu stocké dans le dernier point de contrôle, donc l'optimiseur compresse directement sa propre valeur plutôt que le résidu.Le point de contrôle final à compresser est exprimé par

2. Compression articulaire Momentum avec optimisation du poids

Les travaux existants liés à la compression du modèle se concentrent généralement uniquement sur les performances d'inférence du modèle ou sur la taille du point de contrôle de stockage final du modèle, mais ne prêtent pas attention à la surcharge d'espace de stockage du modèle pendant tout le processus de formation. Par conséquent, les travaux existants ne font que compresser les poids, ignorant le fait que les optimiseurs courants tels qu'Adam stockent en réalité une quantité de mouvement deux fois supérieure au nombre de poids. D'une part, ce travail compresse les deux ensemble, améliorant considérablement le taux de compression global ; d'autre part, il utilise également la corrélation entre les poids et l'élan de l'optimiseur pour améliorer davantage le taux de compression de chacun.

Élagage du poids : étant donné que le poids de l'élagage est la valeur résiduelle, le moment de second ordre de l'élan de l'optimiseur peut représenter approximativement l'amplitude de changement de la valeur résiduelle du poids au cours de la période de temps écoulée, donc le moment de second ordre de l'élan de l'optimiseur peut être utilisé comme indicateur. Déterminez le taux d’élagage des différentes couches.La stratégie d'élagage est présentée dans la formule suivante

Dans la formule, W et représentent respectivement le poids et le deuxième moment.

Élagage dynamique optimisé : pour l'élagage dynamique, vous pouvez utiliser le moment de premier ordre comme indicateur pour effectuer l'élagage. Il y a une brève preuve de convergence dans l'article.Dans le même temps, si le poids d'une position a été élagué, l'élan de l'optimiseur de la position correspondante doit également être traité simultanément, de sorte que la stratégie d'élagage est celle indiquée dans la formule suivante

Dans la formule, représente le moment du premier ordre.

3. Processus de compression global

Le processus de compression global est présenté dans l'algorithme 1. Les étapes de calcul du poids résiduel/compression conjointe/quantification non uniforme/compression de codage sont effectuées en séquence pour obtenir le résultat de compression final.

Le processus de récupération du fichier complet du point de contrôle est comme indiqué dans l'algorithme 2. Après la décompression, le résultat en virgule flottante est d'abord récupéré à partir du livre de codes et de l'indice stockés après une quantification non uniforme, puis comparé au poids de base (le contrôle précédent Le poids original du point ou le poids de reconstruction récupéré) sont additionnés pour obtenir le dossier complet du point de contrôle. Le processus de restauration des fichiers de points de contrôle dans l'ensemble du processus de formation est tel qu'illustré dans l'algorithme 3. Une fois la formation terminée, seules les graines aléatoires des poids d'initialisation et les résultats de compression stockés à chaque point de contrôle sont enregistrés, puis les points de contrôle sont restaurés dans séquence pour obtenir l'intégralité Une séquence de points de contrôle à partir de laquelle un ou plusieurs points de contrôle peuvent être sélectionnés pour reprendre l'entraînement/les tests, etc.

Résultats expérimentaux

L'article évalue non seulement de grands modèles de langage, mais cette méthode peut également obtenir de bons résultats sur des modèles visuels plus grands tels que ViT-L32.

L’expérience d’ablation montre également que l’utilisation de la méthode d’élagage résiduel réduit considérablement les pertes causées par l’élagage.

L'article fournit également des exemples de questions et réponses pour les grands modèles de langage avant et après la compression. On peut voir que la compression elle-même n'endommage pas la capacité de questions et réponses du modèle.