nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

La rubrique AIxiv est une rubrique dans laquelle Machine Heart publie du contenu académique et technique. Au cours des dernières années, la rubrique Heart of the Machine AIxiv a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : [email protected] ; [email protected] ;

Ce travail a été réalisé par l'équipe de Chen Enhong, membre de l'IEEE, du National Key Laboratory of Cognitive Intelligence de l'Université des sciences et technologies de Chine et du Noah's Ark Laboratory de Huawei. L'équipe du professeur Chen Enhong est profondément impliquée dans les domaines de l'exploration de données et de l'apprentissage automatique, et a publié de nombreux articles dans des revues et conférences de premier plan. Les articles de Google Scholar ont été cités plus de 20 000 fois. Le Noah's Ark Laboratory est le laboratoire de Huawei engagé dans la recherche fondamentale sur l'intelligence artificielle. Il adhère au concept d'importance égale accordée à la recherche théorique et à l'innovation applicative, et s'engage à promouvoir l'innovation et le développement technologiques dans le domaine de l'intelligence artificielle.

Les données sont la pierre angulaire du succès des grands modèles de langage (LLM), mais toutes les données ne sont pas bénéfiques à l’apprentissage de modèles. Intuitivement, les échantillons de haute qualité devraient avoir une meilleure efficacité dans l’enseignement du LLM. Par conséquent, les méthodes existantes se concentrent généralement sur une sélection de données basée sur la qualité. Cependant, la plupart de ces méthodes évaluent indépendamment différents échantillons de données, ignorant les effets combinatoires complexes entre les échantillons. Comme le montre la figure 1, même si chaque échantillon est d'une qualité parfaite, leur combinaison peut toujours être sous-optimale en raison de la redondance ou de l'incohérence des informations mutuelles. Bien que le sous-ensemble basé sur la qualité soit constitué des trois échantillons de qualité, les connaissances qu’ils codent sont en réalité redondantes et contradictoires. En revanche, un autre sous-ensemble de données composé de plusieurs échantillons de qualité relativement inférieure mais diversifiés peut transmettre plus d'informations dans l'enseignement du LLM. Par conséquent, la sélection de données basée sur la qualité n’est pas entièrement cohérente avec l’objectif de maximiser les connaissances LLM.

Cet article vise à révéler la relation intrinsèque entre les performances du LLM et la sélection des données. Inspirés par la nature de la compression des informations LLM, nous avons découvert une loi d'entropie, qui relie les performances du LLM au taux de compression des données et à la perte des étapes précédentes de formation du modèle, qui reflètent respectivement le degré de redondance des informations de l'ensemble de données et l'effet inhérent. de LLM sur l'ensemble de données. Le degré de maîtrise des connaissances. Grâce à la dérivation théorique et à l'évaluation empirique, nous constatons que les performances du modèle sont inversement liées au taux de compression des données d'entraînement, ce qui entraîne généralement une perte d'entraînement plus faible. Sur la base des résultats de la loi d'entropie, nous proposons une méthode de sélection de données très efficace et générale pour la formation LLM, nommée ZIP, qui vise à prioriser les sous-ensembles de données avec de faibles taux de compression. ZIP sélectionne avidement diverses données en plusieurs étapes, obtenant finalement un sous-ensemble de données avec une bonne diversité.

Équipe : équipe de Chen Enhong au Laboratoire national clé d'intelligence cognitive de l'Université des sciences et technologies de Chine, Laboratoire de l'Arche de Noé de Huawei

Lien papier : https://arxiv.org/pdf/2407.06645

Lien du code : https://github.com/USTC-StarTeam/ZIP

Figure 1

Loi d'entropie

Nous effectuons une analyse théorique de la relation entre la compression des données et les performances du LLM. Intuitivement, l'exactitude et la diversité des données d'entraînement affecteront les performances du modèle final. Dans le même temps, les performances du LLM peuvent être sous-optimales si les données présentent de graves conflits inhérents ou si le modèle comprend mal les informations codées dans les données. Sur la base de ces hypothèses, nous désignons la performance de LLM par Z, qui devrait être affectée par :

Taux de compression des données R : Intuitivement, un ensemble de données avec un taux de compression inférieur indique une densité d'informations plus élevée.

Perte d'entraînement L : indique si les données sont difficiles à mémoriser pour le modèle. Dans le même modèle de base, une perte de formation élevée est généralement due à la présence de bruit ou d'informations incohérentes dans l'ensemble de données.

Cohérence des données C : la cohérence des données est reflétée par l'entropie de la probabilité du prochain jeton compte tenu de la situation précédente. Une plus grande cohérence des données entraîne généralement une réduction des pertes de formation.

Qualité moyenne des données Q : reflète la qualité moyenne des données au niveau de l'échantillon, qui peut être mesurée à travers divers aspects objectifs et subjectifs.

Sur la base de la loi d'entropie, nous proposons deux inférences :

Si C est traité comme une constante, la perte d’entraînement est directement affectée par le taux de compression. Par conséquent, les performances du modèle sont contrôlées par le taux de compression : si le taux de compression des données R est plus élevé, alors Z est généralement moins bon, ce qui sera vérifié dans nos expériences.

Avec le même taux de compression, une perte d’entraînement plus élevée signifie une moindre cohérence des données. Par conséquent, les connaissances effectives acquises par le modèle peuvent être plus limitées. Cela peut être utilisé pour prédire les performances de LLM sur différentes données avec un taux de compression et une qualité d'échantillon similaires. Nous montrerons plus loin l’application pratique de ce raisonnement.

ZIP : un algorithme de sélection de données très léger

Sous la direction de la loi d'entropie, nous avons proposé ZIP, une méthode de sélection de données qui sélectionne des échantillons de données via le taux de compression des données, visant à maximiser la quantité d'informations efficaces avec un budget de données de formation limité. Pour des raisons d’efficacité, nous adoptons un paradigme glouton itératif à plusieurs étapes pour obtenir efficacement des solutions approximatives avec des taux de compression relativement faibles. À chaque itération, nous utilisons d'abord une étape de sélection globale pour sélectionner un pool d'échantillons candidats avec un faible taux de compression afin de trouver des échantillons avec une densité d'informations élevée. Nous utilisons ensuite une étape de sélection locale à gros grains pour sélectionner un ensemble d'échantillons plus petits présentant la plus faible redondance avec les échantillons sélectionnés. Enfin, nous utilisons une étape de sélection locale fine pour minimiser la similarité entre les échantillons à ajouter. Le processus ci-dessus se poursuit jusqu'à ce que suffisamment de données soient obtenues. L'algorithme spécifique est le suivant :

Résultats expérimentaux

1. Efficacité de l'algorithme de sélection ZIP pour différents LLM et dans différentes étapes d'alignement LLM

En comparant différents algorithmes de sélection de données SFT, le modèle formé sur la base des données de sélection ZIP présente des avantages en termes de performances et est également supérieur en efficacité. Voir le tableau ci-dessous pour des résultats spécifiques :

Grâce aux caractéristiques indépendantes du modèle et insensibles au contenu de ZIP, il peut également être appliqué à la sélection de données lors de l'étape d'alignement des préférences. Les données sélectionnées par ZIP présentent également de grands avantages. Voir le tableau ci-dessous pour des résultats spécifiques :

2. Vérification expérimentale de la loi de l'entropie

Sur la base de l'expérience de sélection de données SFT, nous ajustons plusieurs courbes de relation en fonction de l'effet du modèle, du taux de compression des données et de la perte du modèle lors des étapes précédentes de la formation. Les résultats sont présentés dans les figures 2 et 3, à partir desquelles nous pouvons observer l'étroite corrélation entre les trois facteurs. Tout d'abord, les données à faible taux de compression apportent généralement de meilleurs résultats de modèle, car le processus d'apprentissage des LLM est fortement lié à la compression des informations. Nous pouvons considérer le LLM comme un compresseur de données, donc les données avec un taux de compression plus faible signifient plus de connaissances. et donc plus précieux pour le compresseur. Dans le même temps, on peut observer que des taux de compression plus faibles s'accompagnent généralement de pertes de formation plus élevées, car les données difficiles à compresser contiennent plus de connaissances, ce qui pose de plus grands défis à LLM pour absorber les connaissances qu'elles contiennent.

Figure 2 : Mistral-7B

Figure 3 Lama-3-8B

3.Application pratique de la loi de l'entropie

Nous proposons une application d'une loi d'entropie pour guider les mises à jour incrémentielles des données de formation LLM dans des scénarios réels. Dans ce scénario de tâche, la quantité de données d'entraînement reste relativement stable et seule une petite partie des données est modifiée.Les résultats sont présentés dans la figure 4, où

Il s'agit de 5 versions de données qui sont progressivement mises à jour. En raison d'exigences de confidentialité, seule la relation relative des effets du modèle sous différents taux de compression est fournie. Selon les prédictions de la loi d'entropie, en supposant que la qualité des données ne diminue pas de manière significative après chaque mise à jour incrémentielle, on peut s'attendre à ce que les performances du modèle s'améliorent à mesure que le taux de compression des données diminue.Cette prédiction est cohérente avec la version des données de la figure

Les résultats sont cohérents.Cependant, la version des données

Présente des augmentations inhabituelles de perte et de compression de données, qui indiquent une dégradation potentielle des performances du modèle en raison d'une cohérence réduite des données d'entraînement. Cette prédiction a été confirmée par une évaluation ultérieure des performances du modèle. Par conséquent, la loi d'entropie peut être utilisée comme principe directeur pour la formation LLM afin de prédire le risque potentiel d'échec de la formation LLM sans former le modèle sur l'ensemble de données complet jusqu'à la convergence. Ceci est particulièrement important étant donné le coût élevé de la formation des LLM.

Figure 4