les nouvelles recherches de l'académicien yao qizhi sur les grands modèles ont résolu le problème « qu'est-ce qui est le plus grand, 9,11 ou 9,8 ? »
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
l'article est réimprimé dans qubit (qbitai)
auteur : vent d’ouestl'académicien yao qizhi prend les devants et lance un nouveau cadre de raisonnement pour les grands modèles. la « couronne » du cot ne peut plus tenir.proposer un diagramme de pensée pour que les grands modèles pensent davantage comme des humains.l’équipe fournit une base mathématique à ce processus de raisonnement et formalise le dot via la théorie des topos pour garantir sa cohérence logique et sa rationalité.comparé au cot, qui exprime le processus de raisonnement sous la forme d’une séquence linéaire, le dot peut mieux saisir la complexité du raisonnement humain.par rapport à l'introduction des structures de branche tot et got, le dot n'a pas besoin de s'appuyer sur des mécanismes de contrôle externes ou sur la coopération de plusieurs modèles, et la formation et le déploiement sont plus simples.le secret est que dot modélise l'inférence itérative dans llm en construisant un graphe acyclique dirigé (dag) au sein d'un seul modèle.dag se compose de nœuds représentant des propositions, des critiques, des raffinements et des vérifications. les arêtes représentent les relations logiques ou les dépendances entre elles. les arêtes ont des directions et il n'y a pas de chemins circulaires.cette caractéristique acyclique garantit que le processus de raisonnement n'est pas affecté par des dépendances circulaires et peut refléter plus fidèlement une dérivation logique raisonnable.les questions telles que laquelle est la plus grande, 9,11 ou 9,8, et combien de « r » y a-t-il dans la fraise, sont toutes résolues à l'aide du dot.cette étude a reçu beaucoup d’attention après sa proposition.les internautes ont déclaré que c'était la bonne voie.arrête ça, arrête ça, arrête ça
voyons spécifiquement à quoi ressemble dot.un nouveau cadre pour le raisonnement complexe dans les grands modèles
comme mentionné précédemment, dot modélise le processus de raisonnement logique comme la construction d'un graphe acyclique dirigé (dag) au sein d'un seul llm.trois rôles clés sont gérés dans son cadre :proposant : générez des propositions ou des étapes de raisonnement, ajoutez de nouveaux nœuds.
critiques : évaluez les propositions, identifiez les erreurs, les incohérences ou les erreurs logiques et ajoutez des nœuds de critique.
récapitulateur : synthétisez les propositions vérifiées dans une chaîne de pensée cohérente et effectuez efficacement le type topologique de dag pour produire le résultat final du raisonnement.
ces trois rôles utilisent des jetons spéciauxle processus de raisonnement commence lorsque le proposant introduit une proposition et ajoute un nœud au dag.il appartient ensuite aux évaluateurs d’évaluer, de valider ou d’émettre des critiques. si une critique est fournie, un nouveau nœud est ajouté et un bord est établi entre la proposition et la critique.sur la base des critiques, le proposant génère une proposition raffinée et améliorée, représentée comme un nouveau nœud dans le dag.une fois les propositions suffisamment valables établies, le synthétiseur synthétise ces raisonnements et trie topologiquement le dag pour produire une chaîne de pensées cohérente.en exposant le modèle à un raisonnement à la fois correct et incorrect, le dot permet au llm d'apprendre de ses erreurs et d'affiner son raisonnement au fil du temps, un peu comme la façon dont les humains résolvent les problèmes.cette approche capture non seulement la nature non linéaire et itérative du raisonnement, mais fournit également un feedback plus riche que les signaux binaires grâce à la critique du langage naturel.la formation du dot implique l'utilisation d'exemples de formation formatés dans la structure dot, y compris des jetons spécifiques au rôle et des représentations dag. au cours du raisonnement, le modèle génère des propositions, des critiques et des résumés basés sur des indices contextuels et des jetons spécifiques au rôle.cette approche simplifie le déploiement et élimine le besoin de collaboration multi-llm ou de mécanismes de contrôle externes, tout en restant cohérente avec les paradigmes de formation llm standard pour une intégration facile dans les flux de travail existants.l'auteur fournit également une base mathématique stricte pour le cadre dot, en utilisantle processus de raisonnement est formellement décrit.dans ce cadre, les propositions sont modélisées comme des sous-objets d'objets terminaux dans la topologie, les relations logiques et les étapes de raisonnement sont représentées comme des morphismes, et les processus de critique et d'amélioration correspondent respectivement aux morphismes des classificateurs de sous-objets et aux morphismes entre propositions.en introduisant la catégorie prenet, ils ont également réussi à capturer la nature dynamique et concurrente du processus d'inférence.ce fondement mathématique garantit non seulement la cohérence logique et l’exhaustivité du processus de raisonnement, mais fournit également un cadre conceptuel pour concevoir la prochaine génération de modèles d’ia spécifiquement destinés au raisonnement.dirigé par yao qizhi et yuan yang de l'université tsinghua
cet article a été dirigé par yao qizhi et yuan yang de l'institut d'information interdisciplinaire tsinghua. le premier auteur de l'article est zhang yifan.zhang yifan a obtenu un baccalauréat en 2021université de pékin collège yuanpei, est actuellement doctorant à l'école d'information interdisciplinaire de l'université tsinghua, où il étudie sous la direction du professeur adjoint yuan yang.ses principaux axes de recherche sont la théorie et les algorithmes des modèles de base (grands modèles de langage), l'apprentissage auto-supervisé et l'intelligence artificielle fiable.yuan yang est professeur adjoint et directeur de doctorat à l'école d'information interdisciplinaire de l'université tsinghua.diplômé du département d'informatique de l'université de pékin en 2012 ; titulaire d'un doctorat en informatique de l'université cornell aux états-unis en 2018, il a travaillé comme chercheur postdoctoral à la school of big data science du massachusetts institute ; de la technologie.ses principaux domaines de recherche portent sur les soins médicaux intelligents, l'interprétabilité de l'ia et les grands systèmes d'ia. il a réalisé de nombreuses réalisations en recherche dans les domaines de la théorie de l'optimisation non convexe, de la théorie de l'optimisation des réseaux neuronaux et de la conception de mécanismes.yao qizhi est académicien de l'académie chinoise des sciences et directeur de l'institut d'information interdisciplinaire de l'université tsinghua ;prix turing"le premier universitaire asiatique à remporter ce prix depuis sa création, et le seul informaticien chinois à remporter cet honneur jusqu'à présent.le professeur yao qizhi a démissionné de princeton en tant que professeur titulaire en 2004 et est retourné à tsinghua pour enseigner ; en 2005, il a fondé la « classe yao », une classe expérimentale d'informatique pour les étudiants de premier cycle de tsinghua ; en 2011, il a fondé le « centre d'information quantique de tsinghua » ; " et l'« institut interdisciplinaire de recherche sur l'information » ; en 2019. en 2008, il a fondé un cours d'intelligence artificielle pour les étudiants de premier cycle de tsinghua, appelé « smart class ».aujourd'hui, l'institut d'information interdisciplinaire de l'université tsinghua qu'il dirige est depuis longtemps célèbre. yao class et zhiban sont tous deux affiliés à l'institut d'information interdisciplinaire.les intérêts de recherche du professeur yao qizhi incluent les algorithmes,cryptographie、informatique quantiqueetc., sont des pionniers et des autorités internationales dans ce domaine.encore une chose
il y a un an à peu près à la même époque, l'académicien yao qizhi a dirigé la propositionraisonnement cumulatif(raisonnement cumulatif, cr).dot est un approfondissement supplémentaire de cr.à cette époque, cr coordonnait un processus itératif impliquant de grands modèles linguistiques de différentes spécialisations, différents modèles assumant les rôles de proposant, de vérificateur et de rapporteur.dot, en revanche, construit directement un graphe acyclique dirigé au sein d'un seul modèle et ne s'appuie pas sur des mécanismes de contrôle externes ou sur plusieurs modèles, ce qui simplifie la formation et le déploiement.et dans dot, le retour critique généré par le modèle se présente sous la forme d'un langage naturel, plutôt que de simplement donner un signal binaire comme cr. cela permet au modèle de recevoir des explications détaillées des erreurs, contribuant ainsi à améliorer plus efficacement les propositions.cette fois, dot dispose également d'une base mathématique solide, qui clarifie la relation entre le processus de raisonnement du dot et la logique catégorielle, garantissant ainsi la cohérence et la fiabilité du raisonnement théorique.
