2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Le vent d'ouest de Jin Lei provient du temple Aofei
Qubits | Compte public QbitAI
Meilleur étudiant de la classe Yao à l’Université TsinghuaYao Shunyu, a officiellement annoncé avoir rejoint OpenAI.
Mais un message si court a attiré l'attention et les bénédictions de tous les membres du cercle. Venez ressentir ce sentiment :
Parmi eux, il y en a beaucoup comme le directeur de recherche de pointe OpenAI et le coach américain IOI.Marc Chen, ainsi que des professeurs, des investisseurs, etc. dans le domaine de l'IA.
Alors pourquoi Yao Shunyu attire-t-il autant d’attention ?
À en juger par son précédent CV, nous pouvons extraire les mots-clés suivants :
△Yao Shunyu, source photo : page d'accueil personnelle
Mais en plus de son curriculum vitae relativement brillant, ce sont ses nombreuses réalisations en matière de recherche scientifique qui ont vraiment fait connaître Yao Shunyu au public :
Il n’est pas exagéré de dire que presque toutes les recherches ont provoqué des répercussions considérables dans le cercle et il est très évident qu’elles sont toutes profondément liées ;grand modèleEt dépliez-vous.
Cela peut également correspondre à une phrase de l'annonce officielle de Yao Shunyu :
Il est temps de transformer la vision de la recherche en réalité.
Quant à cette « vision de la recherche », continuons à y regarder de plus près.
Si vous regardez la page d'accueil de Yao Shunyu, en particulier la section de recherche de thèse, il n'est pas difficile de trouver une phrase qui apparaît très fréquemment——Agents linguistiques。
Dans le profil inclus sur sa page d'accueil X, la première phrase est également Language Agents :
Et c’est aussi le titre de sa thèse de doctorat :Agents linguistiques : de la prédiction du prochain jeton à l'automatisation numérique。
Agents linguistiques, à savoiragent linguistique, c'est Yao Shunyu qui a proposé un nouveau type d'agent.
Différente des agents traditionnels, cette méthode utilise des modèles de langage pour le raisonnement et les actions des agents, en s'attachant à leur faire réaliserautomatisation numérique(Automatisation numérique)。
En ce qui concerne les méthodes de mise en œuvre spécifiques, il existe trois technologies clés (toutes avec des articles indépendants), à savoir :
En prenant ReAct comme exemple, la recherche consiste à étendre l'espace d'action du modèle de langage en l'union de l'ensemble d'actions et de l'espace de langage.
Les actions (c'est-à-dire les trajectoires de pensée ou de raisonnement) dans l'espace du langage n'affectent pas l'environnement externe, mais peuvent mettre à jour le contexte grâce à un raisonnement sur le contexte actuel et peuvent soutenir des raisonnements ou des actions futures.
Par exemple, dans le dialogue illustré dans la figure ci-dessous, la méthode ReAct peut être utilisée pour guider l'agent dans le processus « générer des idées → passer à l'action → observer les résultats ».
De cette manière, la trajectoire et le fonctionnement du raisonnement peuvent être combinés, permettant au modèle d'effectuer un raisonnement dynamique, améliorant ainsi la prise de décision et les résultats finaux de l'agent.
Si la méthode ReAct se résume à laisser l'agent« raison d’agir », alors la méthode suivante estarbre pensant, alors l'objectif est de laisser l'agent« raison de planifier »。
L'arbre de pensée représente le problème comme une recherche sur la structure arborescente. Chaque nœud est un état, représentant une solution partielle, et les branches correspondent à des opérations qui modifient l'état.
Il s’agit principalement de quatre problématiques :
En appliquant l'arbre de réflexion au jeu « 24 points », par rapport à la chaîne de réflexion précédente (CoT), le taux de précision a été considérablement amélioré.
Quant à la dernière technologie clé des agents linguistiques, c'estCoALA, est un cadre conceptuel pour organiser et concevoir des agents linguistiques.
À en juger par le schéma de structure ci-dessous, il est grossièrement divisé en trois modules : stockage d'informations, espace d'action et prise de décision.
Le stockage d'informations signifie que l'agent linguistique stocke les informations dans plusieurs modules de mémoire, y compris la mémoire de travail à court terme et la mémoire à long terme (telle que la mémoire sémantique, la mémoire épisodique et la mémoire procédurale).
Ces modules de mémoire sont utilisés pour stocker différents types d'informations, telles que les entrées sensorielles, les connaissances, l'expérience, etc., et jouent un rôle dans le processus de prise de décision de l'agent.
De plus, CoALA divise l'espace d'action de l'agent en actions externes et actions internes ; les actions externes impliquent des interactions avec l'environnement externe, telles que le contrôle de robots, la communication avec des humains ou l'exécution d'opérations dans des environnements numériques.
Les actions internes interagissent avec l'état interne et la mémoire de l'agent, y compris des opérations telles que le raisonnement, la récupération et l'apprentissage.
En fin de compte, l'agent linguistique choisira l'action à réaliser à travers le processus de prise de décision et ce processus trouvera également la solution optimale en fonction de divers facteurs et commentaires.
De plus, il existe des emplois comme celui de programmeur IA open source.Agent SWEetc., est également largement répandu dans le cercle.
Mais à partir des nombreux sujets de recherche scientifique de Yao Shunyu, en plus des agents linguistiques, nous pouvons également voir un autre mot-clé qu'il poursuit :pensée informatique。
Cela a été révélé lorsqu’il était étudiant.
Avant d'aller à l'Université de Princeton pour étudier un doctorat en informatique, Yao Shunyu, en tant que senior de la promotion 2015, a partagé son expérience d'apprentissage et de croissance à l'Université Tsinghua avec les candidats de réexamen lors de la cérémonie d'ouverture des différents types de Tsinghua 2019. de réexamens de sélection indépendants.
Le contenu pertinent est enregistré dans un article qu'il a écrit intitulé « Qu'avez-vous appris dans le cours de Yao à l'Université Tsinghua ? Yao Shunyu : Assez pour changer le monde ».
À cette époque, il s'est concentré sur le partage de la pensée informatique sous ses aspects théoriques et pratiques, et a révélé qu'il estimait qu'après quatre ans,Le plus grand gain est la pensée informatique：
Nous voyons maintenant beaucoup de choses qui sont théoriquement impossibles. La soi-disant théorie guide la pratique, je pense que cela signifie davantage que nous devons comprendre les limites des capacités d'un système et la difficulté des choses à un niveau élevé, puis choisir ce qui peut être fait et ce qui a du sens.
Enfermé dans l'étiquette d'un garçon ensoleillé et joyeux, Yao Shunyu a également partagé son expérience de voyage en Argentine pour le programme d'infiltration du sud de Tsinghua :
J'ai rencontré un groupe d'enfants argentins... L'anglais n'est pas universellement parlé, les Argentins parlent espagnol. Une fois, j’ai essayé d’apprendre l’espagnol, mais j’ai abandonné parce que j’ai étudié l’informatique et j’ai retiré Google Translate. Je leur ai parlé de la Cité Interdite et de la Grande Muraille de Pékin...
△Source : Compte officiel des admissions de Tsinghua
Selon lui, à cette époque, l'informatique peut être combinée avec n'importe quelle discipline, et le monde est un grand endroit, et vous pouvez faire ce que vous voulez à Tsinghua.
Après avoir parlé de Yao Shunyu, qui d'autre dans la classe Yao travaille sur de grands modèles ?
Ce que je dois mentionner, c'estMa TengyuetChen Danqi。
Les deux étaient camarades de classe à l'époque, anciens élèves de la classe Tsinghua Yao en 2008, et tous deux ont ensuite remporté le prix Sloan, connu sous le nom de « Prix Nobel Trend Vane ».
Le Dr Ma Tengyu a étudié à l'Université de Princeton, où son mentor était le professeur Sanjeev Arora, informaticien théorique et deux fois lauréat du prix Gödel.
Après avoir obtenu son doctorat, de grandes universités telles que le MIT, Harvard et Stanford lui ont toutes proposé de devenir professeur assistant, et Ma Tengyu a finalement choisi Stanford.
À la fin de l'année dernière, Ma Tengyu a également annoncé officiellement la création de Voyage AI, une startup de modèles à grande échelle. Il a révélé qu'il dirigerait une équipe pour construire le meilleur modèle embarqué actuellement, et fournirait également des modèles personnalisés axés sur un modèle embarqué. certain domaine ou entreprise.
Trois professeurs, dont Christopher Manning, directeur du laboratoire d'intelligence artificielle de Stanford, et Li Feifei, célèbre chercheur chinois dans le domaine de l'IA, servent de conseillers académiques à Voyage AI.
Pour Chen Danqi, après avoir terminé ses études de premier cycle à Tsinghua Yao Ban, il a obtenu un doctorat à l'Université de Stanford en 2018, axé sur la PNL. Il est finalement devenu professeur adjoint au département d'informatique de l'Université de Princeton et directeur adjoint du Princeton Language. et Intelligence Project, codirigeant le groupe Princeton NLP.
Sa page d'accueil personnelle montre que « ces jours-ci, je suis principalement attiré par le développement de grands modèles » et les sujets qu'il recherche incluent :
Les grands travaux de modélisation et les qubits de l’équipe de Chen Danqi continuent également de retenir l’attention.
Par exemple, l'algorithme de sélection de données LESS, une méthode de réduction des coûts proposée pour les grands modèles, ne sélectionne que 5 % des données les plus pertinentes pour la tâche pour un réglage fin des instructions, ce qui est mieux que d'utiliser l'ensemble des données dans son intégralité.
Le réglage fin des instructions est une étape clé pour faire du modèle de base un modèle d'assistant ChatGPT.
Proposition de la méthode populaire de « tonte d'alpaga » - la méthode d'élagage de grands modèles LLM-Shearing, qui utilise seulement 3 % du montant de calcul et 5 % du coût pour obtenir SOTA, dominant l'échelle 1B-3B des grands modèles open source.
En plus de ces deux-là, de nombreux anciens élèves de la classe Yao travaillent sur des modèles à grande échelle dans l'industrie et le monde universitaire.
Le grand modèle d'application native qui était populaire sur Internet était « Terminé ! » "Je suis entouré de grands modèles" et sa suite "J'ai brisé les grands modèles" ont été développés par une équipe dirigée par les meilleurs étudiants de la classe Yao.
auteur du jeuFan Haoqiang , Employé Megvii n°6. À cette époque, il était salué comme un garçon de génie pour ses actes légendaires tels que la médaille d'or de l'IOI, sa recommandation à la classe de Tsinghua Yao et sa pratique en deuxième année au lycée. Il est désormais directeur général de la recherche chez Megvii Technology et leader du secteur avec Google Scholar h-index 32.
Le premier résultat de recherche de Musk sur xAI - Tensor Programs VI, inclut également des anciens élèves de la classe Yao dans le travail commun.
Tensor Programs VI est une continuation de la précédente série de travaux Tensor Programs de Greg Yang, membre fondateur de xAI et disciple de Shing-tung Yau, et l'article se concentre sur "comment former des réseaux infiniment profonds".
On dit que les résultats liés aux programmes Tensor ont été appliqués dans GPT-4. Afin d'interpréter le journal, Yang lui-même a également réalisé une diffusion en direct sur X.
Travailler ensembleDingli Yu, est diplômé de la classe Yao de l'Université Tsinghua avec un baccalauréat. Actuellement, Dingli Yu est sur le point d'obtenir un doctorat au département d'informatique de Princeton.
Il y en a beaucoup, beaucoup plus......
En parlant du recrutement de Yao Shunyu chez OpenAI cette fois, les efforts de recrutement d'OpenAI se poursuivent.
Karina Nguyen, ingénieure OpenAI, a publié le dernier article de recrutement :
- L'équipe comportementale du modèle OpenAI recrute ! C'est un poste de rêve qui allie ingénierie de conception et recherche post-formation, et c'est le métier le plus rare au monde❤️
- Nous utilisons des méthodes d'alignement telles que RLHF/RLAIF pour définir les comportements de base du modèle afin de refléter les valeurs de base et d'améliorer l'intelligence créative d'AGI. A travers ces résultats, nous travaillons avec les équipes de conception et d'ingénierie produit + modèle pour créer de nouveaux modèles d'interfaces et d'interactions IA qui impacteront des millions d'utilisateurs...
Ce qui est intéressant, c'est que Karina Nguyen était en fait chercheuse chez Anthropic AI (l'équipe de Claude) auparavant, elle a également participé à un duel de mots rapides sur X (anciennement Twitter) avec Jason Wei d'OpenAI, l'auteur de « Think Chain ». Document de base ».
Je ne m’attendais pas à ce que Karina Nguyen passe à OpenAI aussi rapidement…
À propos, la nouvelle est tombée hier que le chercheur de Google DeepMind, Thibault Sottiaux, avait également été embauché par OpenAI.
Vous savez, Thibault Sottiaux a été l'un des principaux contributeurs à des articles tels que l'original Gemini et Gemini 1.5.
Cela montre à quel point la piste des grands modèles est actuellement populaire. Les entreprises se disputent la piste et les gens se disputent les gens.
Il y avait deux autres Yao Shunyu qui ont obtenu leur diplôme de l'Université Tsinghua la même année que Yao Shunyu !
Lorsque les trois étudiants de Yao Shunyu ont obtenu leur diplôme en 2019, les responsables de l'Université Tsinghua ont publié un message sur Weibo et une photo de groupe d'eux trois.
En plus de Yao Shunyu qui a désormais rejoint OpenAI, il y a un autre Yao Shunyu deécole des sciences humainesUne fille qui se spécialise en japonais.
Un autre Yao Shunyu est Yao ShunYu, depuisDépartement de physique, il est lauréat du Undergraduate Special Award en 2018. Au cours de ses études de premier cycle, il a publié deux articles en tant que premier auteur dans la revue de physique de premier plan PRL (Physical Review Letters) et un dans PRB (Physical Review B).
Liens de référence :
[1]https://x.com/ShunyuYao12/status/1818807946756997624
[2]https://ysymyth.github.io
[3]https://x.com/karinanguyen_/status/1819082842238079371
[4]https://weibo.com/1676317545/HCR7yuXAl?refer_flag=1001030103_
Collectez et organisez les dernières informations d'actualité et rendez-les gratuites pour que tout le monde puisse les consulter.
