nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Les grands modèles ont reçu beaucoup d’attention au cours des deux dernières années, notamment pour leurs performances dans la résolution de problèmes arithmétiques.

En fait, dès 2022, des chercheurs de l'équipe de recherche de Google ont proposé l'invite Chain-of-Thought (CoT), une méthode d'ingénierie rapide qui peut améliorer efficacement le raisonnement mathématique des grands modèles et apprendre dans un contexte de quelques échantillons. l'efficacité a été vérifiée [1].

Bien que cette méthode soit rapidement devenue largement utilisée, les chercheurs dans le domaine savent encore peu de choses sur la façon dont elle stimule le raisonnement arithmétique dans les grands modèles.

Auparavant, les explorations connexes se sont principalement concentrées sur l’observation expérimentale de l’impact de différents composants de l’instruction CoT sur l’effet du raisonnement arithmétique des grands modèles.

Plus précisément, essayez de remplacer ou de supprimer des composants dans l'instruction d'invite CoT, par exemple en supprimant la partie de raisonnement verbal de l'échantillon CoT, en ne laissant que les formules mathématiques clés, et en observant le grand modèle avant et après le remplacement ou la suppression dans l'arithmétique existante. La différence de performance sur le test de référence d'inférence est utilisée pour déterminer si la pièce de remplacement ou de retrait a une contribution importante à stimuler la capacité de raisonnement arithmétique du grand modèle.

Bien que les chercheurs dans ce domaine aient découvert plusieurs phénomènes intéressants à partir de ces études, ils ne peuvent toujours pas expliquer comment CoT stimule la capacité de raisonnement arithmétique des grands modèles à partir du mécanisme interne des réseaux neuronaux.

En même temps, ces études soulèvent davantage de questions. Par exemple, pourquoi différents composants de CoT ont des impacts différents sur le raisonnement arithmétique des grands modèles.

Afin de résoudre les problèmes ci-dessus, le professeur Yao Ziyu et son équipe de l'Université George Mason aux États-Unis ont lancé une série d'explorations sur le modèle open source Llama2 du point de vue de « l'interprétabilité du modèle » et ont proposé d'utiliser « l'activation neuronale » pour expliquer systématiquement Le phénomène observé sur CoT a été étudié.

Photo丨Membres de l'équipe de recherche (source : équipe de recherche)

Récemment, un article connexe intitulé « An Investigation of Neuron Activation as a Unified Lens to Explain Chain-of-Thought Eliciting Arithmetic Reasoning in Large Language Models » des LLM) a été accepté par la réunion annuelle de l'Association for Computational Linguistics (ACL, Annual Réunion pour la linguistique computationnelle) 2024 [2].

Daking Rai, doctorant à l'Université George Mason, est le premier auteur et Yao Ziyu est l'auteur correspondant.

Figure丨Articles connexes (Source : ACL 2024)

Dans l’étude, ils se sont d’abord concentrés sur la question de savoir si la couche de rétroaction du Transformer est un neurone qui exprime le concept de raisonnement arithmétique.

Les concepts pertinents incluent les concepts d'opérations arithmétiques d'addition, de soustraction, de multiplication et de division, les concepts de liens logiques dans le processus de raisonnement arithmétique (tels que "... donc" "... suivant") et d'autres concepts de calcul arithmétique ( tels que « pourcentage », « algorithme » et « formule »).

Par conséquent, afin de découvrir le concept représenté par chaque neurone, ils ont mappé le neurone sur l'espace de vocabulaire du grand modèle et ont résumé la signification du neurone en étiquetant la proportion de concepts dans chaque vocabulaire après la cartographie des neurones.

Le groupe de recherche a proposé d'utiliser GPT-4 pour lire et comprendre la cartographie lexicale des neurones afin d'automatiser le processus d'étiquetage et d'exploration des neurones.

Les expériences montrent qu'il existe effectivement des neurones dans la couche de rétroaction du Transformer qui représentent des concepts arithmétiques. Lorsque ces neurones sont endommagés, les capacités de raisonnement arithmétique du grand modèle sont compromises.

Dans le même temps, les chercheurs ont également observé que l’activité de ces neurones était positivement corrélée à la capacité de raisonnement arithmétique du grand modèle. Une telle corrélation positive explique pourquoi différentes instructions d’invite entraînent des effets différents sur le raisonnement arithmétique des grands modèles.

Sur la base de ces neurones, l’équipe a systématiquement expliqué quatre phénomènes liés au CoT observés dans des études précédentes.

Premièrement, lorsque les formules mathématiques sont supprimées de l’échantillon CoT et qu’il ne reste que les résultats des opérations, la capacité de raisonnement arithmétique du grand modèle sera altérée.

Deuxièmement, lorsque le raisonnement verbal est supprimé de l’échantillon CoT et qu’il ne reste que des formules mathématiques, la capacité du modèle est également altérée.

Troisièmement, lorsque les échantillons CoT perdent leur diversité opérationnelle, par exemple lorsque tous les échantillons impliquent uniquement des opérations d'addition, la capacité du modèle est altérée.

Quatrièmement, lorsque le résultat de l’opération de l’échantillon CoT est erroné mais que le processus d’inférence est correct, la capacité du modèle n’est pas affectée de manière significative.

"Nous voyons que ces phénomènes peuvent essentiellement s'expliquer par le degré d'activation des neurones. Par exemple, avant et après la suppression des formules mathématiques, le nombre de neurones activés diminue, expliquant pourquoi la capacité de raisonnement arithmétique du modèle est altérée." route expliquée.

Du point de vue des applications, cette réalisation aura des perspectives d'application sous deux aspects.

Premièrement, la capacité de prédire de grands modèles.

Lors d’expériences, les chercheurs ont pu constater que le niveau d’activation des neurones représentant le raisonnement arithmétique est positivement corrélé à la capacité de raisonnement arithmétique du modèle Llama2. Cela signifie qu’à l’avenir, les benchmarks ne seront peut-être plus nécessaires pour prédire directement les capacités des grands modèles sur des tâches spécifiques.

Dans le même temps, étant donné que les tests de référence nécessitent beaucoup de main-d'œuvre et de ressources matérielles, telles que l'annotation d'ensembles de données et des ressources informatiques, la capacité de prédire directement un grand modèle en comprenant ses mécanismes intrinsèques permet également de réduire les coûts.

De plus, les praticiens du domaine espèrent que les grands modèles seront capables d’accomplir des tâches surhumaines dans un avenir proche. Mais limité par les capacités humaines, il n’existe aucun moyen d’établir des références pour ces tâches. Ce problème peut être évité en prédisant les capacités du modèle grâce au mécanisme inhérent aux grands modèles.

Deuxièmement, en contrôlant les mécanismes internes des grands modèles, les capacités du modèle peuvent être améliorées ou affaiblies.

«Nous pensons que cette application deviendra l'une des méthodes importantes pour améliorer la sécurité des grands modèles à l'avenir, en même temps, elle a également le potentiel de réaliser un entraînement plus efficace des grands modèles, comme la localisation des neurones via de petites données et. puis contrôler l'activation des neurones. Le but de la formation des modèles", a déclaré l'équipe de recherche.

En fait, au second semestre 2023, OpenAI a proposé une proposition de « super alignement » [3], visant à aider les humains à superviser et contrôler des modèles d'IA surhumains en encourageant l'innovation dans la recherche scientifique. Les capacités des modèles de prévision et de contrôle sont deux tâches importantes pour atteindre cet objectif.

"Ce résultat constitue notre exploration préliminaire dans cette direction. Nous espérons que nous ou d'autres chercheurs pourrons continuer à explorer dans cette direction à l'avenir", a déclaré l'équipe. Cette recherche s'est inspirée de « l'interprétabilité des mécanismes ».

Il s’agit d’un sous-domaine de l’interprétabilité des modèles qui a rapidement émergé et a reçu une large attention ces dernières années. Différente des méthodes interprétables précédentes, l’interprétabilité des mécanismes tente de comprendre le mécanisme comportemental du modèle par l’ingénierie inverse du réseau neuronal.

Actuellement, ce type de méthode a été appliqué pour expliquer le comportement et les fonctions structurelles de grands modèles.

"L'une des études qui nous a grandement inspirés est l'exploration de la couche de rétroaction Transformer par des chercheurs de l'Institut Allen pour l'intelligence artificielle aux États-Unis et de l'Université Bar-Ilan en Israël [4]", a déclaré le chercheur.

Cette étude a révélé que dans le processus de prédiction de la prochaine unité de vocabulaire par le grand modèle, la couche de rétroaction Transformer du modèle construira des prédictions en renforçant continuellement les concepts associés dans l'espace du vocabulaire. Ce renforcement du concept est obtenu en activant les neurones dans la couche de rétroaction du Transformer.

« Cette découverte au niveau du mécanisme a inspiré notre conjecture : la raison pour laquelle CoT peut stimuler la capacité des grands modèles en matière de raisonnement arithmétique peut être parce qu'il peut activer efficacement les neurones qui représentent les concepts de raisonnement arithmétique dans la couche de rétroaction du transformateur, et ces neurones contribuent à renforcer la capacité de raisonnement arithmétique des grands modèles", a déclaré l'équipe de recherche.

Sur cette base, le groupe de recherche s'est demandé s'il existait un mécanisme susceptible d'améliorer directement les capacités de raisonnement arithmétique des grands modèles, en particulier des grands modèles à petite échelle.

L’équipe a noté : « C’est une chose très significative car les grands modèles à petite échelle bénéficient d’une efficacité informatique, d’une efficacité économique et d’une sécurité uniques. »

En outre, au cours de la même période, des recherches ont également été menées pour améliorer les capacités des grands modèles à petite échelle dans des domaines ou des tâches spécifiques en collectant des données de haute qualité ou en modifiant la fonction objectif de formation. Cependant, l’application de l’interprétabilité mécaniste à cet égard en est encore à ses balbutiements.

Malgré cela, le processus de recherche scientifique de l'équipe ne s'est pas déroulé sans heurts, et ils se sont même retrouvés « coincés » au début.

Parmi eux, la plus grande difficulté est qu'ils ne comprennent pas pleinement le mécanisme interne des grands modèles pour le raisonnement arithmétique et ne peuvent naturellement pas obtenir le contrôle souhaité du modèle.

"Par conséquent, mon élève Lai, le premier auteur de l'article, et moi avons décidé de nous concentrer d'abord sur l'explication du raisonnement arithmétique des grands modèles", a déclaré Yao Ziyu.

Mais ils se heurtèrent bientôt à une autre difficulté.

Le « raisonnement arithmétique » est un concept très abstrait et les prédictions des grands modèles sont effectuées au niveau d'unités de vocabulaire spécifiques.

Si nous voulons comprendre la capacité de raisonnement arithmétique des grands modèles dans la perspective du « renforcement conceptuel des neurones dans l'espace lexical », nous devons d'abord implémenter ce concept hautement abstrait dans des concepts spécifiques au niveau lexical.

Pour combler cette lacune, le groupe de recherche a d'abord résumé un certain nombre de concepts de niveau inférieur liés au raisonnement arithmétique, notamment les opérateurs arithmétiques, les expressions de langage logique dans le raisonnement arithmétique et d'autres concepts informatiques arithmétiques.

Et en utilisant GPT-4 pour étiqueter et rechercher efficacement les neurones qui expriment ces concepts de bas niveau. Ensuite, ils se sont référés à des études antérieures pour vérifier ces neurones recherchés.

"Les résultats expérimentaux prouvent que ces neurones jouent effectivement un rôle important dans le grand modèle de notre expérience, a déclaré Llama2."

Cela leur donne également plus de confiance pour continuer à explorer dans cette direction.

Ils ont pensé à utiliser les états d’activation de ces neurones pour expliquer uniformément l’effet du CoT sur la capacité de raisonnement arithmétique de grands modèles, notamment en expliquant plusieurs phénomènes observés dans des travaux antérieurs.

Les résultats ont essentiellement vérifié leur conjecture, c'est-à-dire que l'effet stimulant de différents composants du CoT sur la capacité de raisonnement arithmétique des grands modèles peut être expliqué par l'activation des neurones concernés.

Cependant, l’étude a également souligné que l’activation neuronale n’expliquait pas toutes les performances de raisonnement arithmétique du grand modèle. Dans le même temps, il convient également de vérifier davantage si les découvertes des chercheurs sur Llama2 sont applicables à d’autres grands groupes modèles.

Il est également rapporté que le laboratoire de Yao Ziyu dispose actuellement d’un certain nombre de postes de doctorat entièrement universitaires qui seront admis à l’automne 2025. Pour plus de détails, veuillez consulter le site Web de l'équipe https://ziyuyao.org/ et vous renseigner par e-mail.

Les références:

1. Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le et Denny Zhou. L'incitation à la chaîne de pensée suscite le raisonnement dans les grands modèles linguistiques. Advances in neural information processing systems 35 (2022) : 24824-24837. https://doi.org/10.48550/arXiv.2201.11903

2. Daking, Rai, Ziyu, Yao, Une étude de l'activation des neurones comme lentille unifiée pour expliquer le raisonnement arithmétique suscitant la chaîne de pensée des LLM.arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3.OpenAI. Présentation du superalignement. https://openai.com/index/introducing-superalignment/. 2023.

4. Geva, Mor, Avi Caciularu, Kevin Wang et Yoav Goldberg. Les couches de rétroaction du transformateur créent des prédictions en promouvant des concepts dans l'espace du vocabulaire. Dans les actes de la conférence 2022 sur les méthodes empiriques en traitement du langage naturel, pp. 30-45. 2022. https://arxiv.org/abs/2203.14680

Composition : Chu Jiashi

01/

02/

03/

04/

05/