2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Der Westwind von Jin Lei kommt vom Aofei-Tempel
Qubits |. Öffentliches Konto QbitAI
Bester Student der Yao-Klasse an der Tsinghua-UniversitätYao Shunyu, gab offiziell bekannt, dass es OpenAI beigetreten ist.
Aber gerade eine so kurze Nachricht hat die Aufmerksamkeit und den Segen aller im Kreis erregt. Kommen Sie und spüren Sie dieses Gefühl:
Unter ihnen sind viele wie der OpenAI-Spitzenforschungsdirektor und der amerikanische IOI-Trainer.Mark Chensowie Professoren, Investoren etc. im Bereich KI.
Warum erregt Yao Shunyu so viel Aufmerksamkeit?
Aus seinem früheren Lebenslauf können wir die folgenden Schlüsselwörter extrahieren:
△Yao Shunyu, Fotoquelle: persönliche Homepage
Doch neben seinem relativ glänzenden Lebenslauf sind es vor allem seine zahlreichen wissenschaftlichen Forschungsleistungen, die Yao Shunyu so richtig ins Rampenlicht der Öffentlichkeit gerückt haben:
Es ist keine Übertreibung zu sagen, dass fast jede Forschung erhebliche Wellen im Kreis verursacht hat, und es ist sehr offensichtlich, dass sie alle tiefgreifend sindgroßes ModellUnd entfalten.
Dies könnte auch einem Satz in Yao Shunyus offizieller Ankündigung entsprechen:
Es ist Zeit, die Forschungsvision in die Realität umzusetzen.
Schauen wir uns diese „Forschungsvision“ weiter genauer an.
Wenn Sie sich die Homepage von Yao Shunyu ansehen, insbesondere den Abschnitt zur Abschlussarbeitsforschung, ist es nicht schwer, einen Satz zu finden, der sehr häufig vorkommt –Sprachagenten。
In dem auf seiner X-Homepage enthaltenen Profil lautet der erste Satz ebenfalls „Language Agents“:
Und das ist auch der Titel seiner Doktorarbeit:Sprachagenten: Von der Next-Token-Vorhersage zur digitalen Automatisierung。
Sprachagenten, nämlichSprachagent, war es Yao Shunyu, der einen neuen Agententyp vorschlug.
Im Gegensatz zu herkömmlichen Agenten verwendet diese Methode Sprachmodelle für die Argumentation und Handlungen von Agenten und konzentriert sich darauf, sie zu realisierendigitale Automatisierung(Digitale Automatisierung)。
Was die spezifischen Implementierungsmethoden betrifft, gibt es drei Schlüsseltechnologien (alle mit unabhängigen Papieren):
Am Beispiel von ReAct besteht die Forschung darin, den Aktionsraum des Sprachmodells auf die Vereinigung des Aktionssatzes und des Sprachraums zu erweitern.
Aktionen (d. h. Denk- oder Argumentationsverläufe) im Sprachraum wirken sich nicht auf die äußere Umgebung aus, können aber den Kontext durch Überlegungen zum aktuellen Kontext aktualisieren und zukünftiges Denken oder Handeln unterstützen.
Beispielsweise kann in dem in der folgenden Abbildung gezeigten Dialog die ReAct-Methode verwendet werden, um den Agenten durch den Prozess „Ideen generieren → Maßnahmen ergreifen → Ergebnisse beobachten“ zu führen.
Auf diese Weise können die Flugbahn und die Funktionsweise des Denkens kombiniert werden, sodass das Modell dynamisches Denken durchführen kann, wodurch die Entscheidungsfindung und die Endergebnisse des Agenten verbessert werden.
Wenn die ReAct-Methode darauf hinausläuft, den Agenten zuzulassen„Grund zum Handeln“, dann ist die nächste Methodedenkender Baum, dann liegt der Fokus darauf, den Agenten zu lassen„Grund zur Planung“。
Der Denkbaum stellt das Problem als Suche in der Baumstruktur dar. Jeder Knoten ist ein Zustand, der eine Teillösung darstellt, und die Zweige entsprechen Operationen, die den Zustand ändern.
Es geht im Wesentlichen um vier Themen:
Durch die Anwendung des Denkbaums auf das „24-Punkte“-Spiel wurde die Genauigkeitsrate im Vergleich zur vorherigen Denkkette (CoT) erheblich verbessert.
Was die letzte Schlüsseltechnologie in Language Agents betrifftCoALAist ein konzeptioneller Rahmen für die Organisation und Gestaltung von Sprachagenten.
Dem folgenden Strukturdiagramm nach zu urteilen, ist es grob in drei Module unterteilt: Informationsspeicherung, Aktionsraum und Entscheidungsfindung.
Informationsspeicherung bedeutet, dass der Sprachagent Informationen in mehreren Speichermodulen speichert, einschließlich Kurzzeitarbeitsgedächtnis und Langzeitgedächtnis (wie semantisches Gedächtnis, episodisches Gedächtnis und prozedurales Gedächtnis).
Diese Speichermodule werden zum Speichern verschiedener Arten von Informationen verwendet, beispielsweise sensorischer Eingaben, Wissen, Erfahrungen usw., und spielen eine Rolle im Entscheidungsprozess des Agenten.
Darüber hinaus unterteilt CoALA den Aktionsraum des Agenten in externe Aktionen und interne Aktionen. Externe Aktionen umfassen Interaktionen mit der externen Umgebung, wie beispielsweise die Steuerung von Robotern, die Kommunikation mit Menschen oder die Durchführung von Operationen in digitalen Umgebungen.
Interne Aktionen interagieren mit dem internen Zustand und dem Gedächtnis des Agenten, einschließlich Vorgängen wie Denken, Abrufen und Lernen.
Letztendlich wird der Sprachagent die auszuführende Aktion im Entscheidungsprozess auswählen und anhand verschiedener Faktoren und Rückmeldungen auch die optimale Lösung finden.
Darüber hinaus gibt es Berufe wie Open-Source-KI-ProgrammiererSWE-Agentusw., ist im Kreis ebenfalls weit verbreitet.
Aber aus Yao Shunyus zahlreichen wissenschaftlichen Forschungsthemen können wir neben Sprachagenten auch ein weiteres Schlüsselwort erkennen, dem er nachgeht:rechnerisches Denken。
Dies wurde tatsächlich offenbart, als er noch Student war.
Bevor er an die Princeton University ging, um in Informatik zu promovieren, teilte Yao Shunyu als Absolvent des Jahrgangs 2015 seine Lern- und Wachstumserfahrungen an der Tsinghua-Universität mit den Wiederholungsprüfungskandidaten bei der Eröffnungszeremonie der verschiedenen Tsinghua-Studiengänge 2019 unabhängiger Auswahlwiederholungsprüfungen.
Der relevante Inhalt ist in einem von ihm verfassten Artikel mit dem Titel „Was haben Sie im Yao-Kurs an der Tsinghua-Universität gelernt? Yao Shunyu: Genug, um die Welt zu verändern“ festgehalten.
Zu dieser Zeit konzentrierte er sich darauf, computergestütztes Denken sowohl aus theoretischen als auch aus praktischen Aspekten zu teilen, und verriet, dass er das Gefühl hatte, dass er nach vier JahrenDer größte Gewinn ist rechnerisches Denken：
Wir sehen jetzt viele Dinge, die theoretisch unmöglich sind. Die sogenannte Theorie leitet die Praxis. Ich denke, es bedeutet eher, dass wir die Grenzen der Fähigkeiten eines Systems und die Schwierigkeit der Dinge auf einer hohen Ebene verstehen und dann entscheiden müssen, was getan werden kann und was sinnvoll ist.
Yao Shunyu, der als sonniger und fröhlicher Junge gilt, erzählte auch von seinen Erfahrungen, als er für das Tsinghua Southern Infiltration Program nach Argentinien reiste:
Ich habe eine Gruppe argentinischer Kinder getroffen ... Englisch wird nicht überall gesprochen, Argentinier sprechen Spanisch. Ich habe einmal versucht, Spanisch zu lernen, aber ich habe aufgegeben, weil ich Computer studiert habe, und habe Google Translate herausgeholt. Ich erzählte ihnen von der Verbotenen Stadt und der Chinesischen Mauer in Peking ...
△Quelle: Offizieller Account von Tsinghua Admissions
Seiner Ansicht nach kann Informatik in dieser Zeit mit jeder Disziplin kombiniert werden, und die Welt ist ein großer Ort, und man kann in Tsinghua tun und lassen, was man will.
Nachdem wir über Yao Shunyu gesprochen haben, wer arbeitet sonst noch in der Yao-Klasse an großen Modellen?
Was ich erwähnen muss, sindMa TengyuUndChen Danqi。
Die beiden waren damals Klassenkameraden, Absolventen der Tsinghua Yao-Klasse im Jahr 2008, und beide gewannen später den Sloan-Preis, der als „Nobelpreis-Trendfahne“ bekannt ist.
Dr. Ma Tengyu studierte an der Princeton University, wo sein Mentor Professor Sanjeev Arora war, ein theoretischer Informatiker und zweifacher Gödel-Preisträger.
Nach seinem Doktortitel boten ihm Spitzenuniversitäten wie das MIT, Harvard und Stanford eine Stelle als Assistenzprofessor an, und Ma Tengyu entschied sich schließlich für Stanford.
Ende letzten Jahres kündigte Ma Tengyu außerdem offiziell die Gründung von Voyage AI an, einem großen Modell-Startup. Er gab bekannt, dass er ein Team leiten würde, um das derzeit beste eingebettete Modell zu entwickeln und auch maßgeschneiderte Modelle bereitzustellen, die sich auf a konzentrieren bestimmtes Fachgebiet oder Unternehmen.
Drei Professoren, darunter Christopher Manning, Direktor des Stanford Artificial Intelligence Laboratory, und Li Feifei, ein berühmter chinesischer Gelehrter auf dem Gebiet der KI, fungieren als akademische Berater für Voyage AI.
Nach Abschluss seines Grundstudiums an der Tsinghua Yao Ban erlangte Chen Danqi 2018 einen Doktortitel an der Stanford University mit Schwerpunkt NLP. Schließlich wurde er Assistenzprofessor am Department of Computer Science der Princeton University und stellvertretender Direktor der Princeton Language und Intelligence Project, Co-Leiter der Princeton NLP-Gruppe.
Seine persönliche Homepage zeigt, dass „mich heutzutage vor allem die Entwicklung großer Modelle reizt“ und zu den Themen, an denen er forscht, gehören:
Auch die große Modellarbeit und die Qubits des Teams von Chen Danqi werden weiterhin beachtet.
Beispielsweise wählt der Datenauswahlalgorithmus LESS, eine vorgeschlagene Methode zur Kostenreduzierung für große Modelle, nur 5 % der für die Aufgabe relevantesten Daten zur Feinabstimmung der Anweisungen aus, was besser ist als die Verwendung des gesamten Datensatzes.
Die Feinabstimmung der Anweisungen ist ein wichtiger Schritt, um aus dem Basismodell ein ChatGPT-Assistentenmodell zu machen.
Vorgeschlagen wurde die beliebte „Alpaka-Scher“-Methode – die LLM-Shearing-Methode zum Beschneiden großer Modelle, die nur 3 % des Berechnungsbetrags und 5 % der Kosten für den Erhalt von SOTA verwendet und damit die 1B-3B-Skala von Open-Source-Großmodellen dominiert.
Zusätzlich zu diesen beiden gibt es viele Absolventen der Yao-Klasse, die in der Industrie und im akademischen Bereich an Großmodellen arbeiten.
Die große native Modellanwendung, die im gesamten Internet beliebt war, war „Fertig!“ „I'm Surrounded by Big Models“ und die Fortsetzung „I Broken the Big Models“ wurden von einem Team unter der Leitung von Top-Schülern der Yao-Klasse entwickelt.
SpieleautorFan Haoqiang , Megvii-Mitarbeiter Nr. 6. Zu dieser Zeit wurde er aufgrund seiner legendären Taten wie der IOI-Goldmedaille, seiner Empfehlung für die Tsinghua Yao-Klasse und seiner Ausübung als Student im zweiten Jahr der High School als genialer Junge gefeiert. Jetzt ist er General Manager für Forschung bei Megvii Technology und Branchenführer mit Google Scholar h-Index 32.
Das erste Forschungsergebnis von Musks xAI – Tensor Programs VI – bezieht auch Absolventen der Yao-Klasse in die gemeinsame Arbeit ein.
Tensor Programs VI ist eine Fortsetzung der vorherigen Tensor Programs-Arbeitsreihe von Greg Yang, einem Gründungsmitglied von xAI und Schüler von Shing-tung Yau, und der Artikel konzentriert sich auf „wie man unendlich tiefe Netzwerke trainiert“.
Es wird gesagt, dass Ergebnisse im Zusammenhang mit Tensorprogrammen in GPT-4 angewendet wurden. Um das Papier zu interpretieren, führte Yang selbst auch eine Live-Übertragung auf X durch.
ZusammenarbeitenDingli Yu, schloss die Yao-Klasse der Tsinghua-Universität mit einem Bachelor-Abschluss ab. Derzeit steht Dingli Yu kurz vor seinem Doktortitel am Informatik-Department von Princeton.
Es gibt noch viele, viele mehr......
Apropos Yao Shunyus Rekrutierung bei OpenAI: Die Rekrutierungsbemühungen von OpenAI gehen noch weiter.
OpenAI-Ingenieurin Karina Nguyen hat den neuesten Einstellungsbeitrag veröffentlicht:
- Das OpenAI-Modellverhaltensteam stellt ein! Dies ist eine Traumposition, die Design-Engineering und Post-Training-Forschung kombiniert und der seltenste Job der Welt ist❤️
- Wir verwenden Ausrichtungsmethoden wie RLHF/RLAIF, um Modellkernverhalten zu definieren, um Grundwerte widerzuspiegeln und die kreative Intelligenz von AGI zu verbessern. Anhand dieser Ergebnisse arbeiten wir mit den Produkt- und Modelldesign- und Engineering-Teams zusammen, um neue Modelle von KI-Schnittstellen und -Interaktionen zu erstellen, die Millionen von Benutzern beeinflussen werden ...
Interessant ist, dass Karina Nguyen zuvor tatsächlich Forscherin bei Anthropic AI (Claudes Team) war. Im Mai letzten Jahres nahm sie auch an einem prompten Wortduell auf X (ehemals Twitter) mit Jason Wei von OpenAI teil, dem Autor von „Think Chain“. Grundlagenpapier“.
Ich hätte nicht erwartet, dass Karina Nguyen so schnell zu OpenAI wechselt …
Übrigens wurde erst gestern bekannt, dass der Google DeepMind-Forscher Thibault Sottiaux ebenfalls für OpenAI eingestellt wurde.
Wissen Sie, Thibault Sottiaux war einer der Hauptautoren von Veröffentlichungen wie dem ursprünglichen Gemini und Gemini 1.5.
Das zeigt, wie beliebt die große Modellbahn derzeit ist. Unternehmen wetteifern um die Strecke und Menschen wetteifern um Menschen.
Es gab zwei weitere Yao Shunyu, die im selben Jahr wie Yao Shunyu ihren Abschluss an der Tsinghua-Universität machten!
Als die drei Yao Shunyu-Studenten 2019 ihren Abschluss machten, veröffentlichten Beamte der Tsinghua-Universität einen Weibo-Beitrag und ein Gruppenfoto der drei.
Neben Yao Shunyu, der sich nun OpenAI angeschlossen hat, gibt es noch einen weiteren Yao Shunyu vonFakultät für GeisteswissenschaftenEin Mädchen, das Japanisch als Hauptfach studiert.
Ein weiterer Yao Shunyu ist Yao ShunYu, ausAbteilung für PhysikEr ist der Gewinner des Undergraduate Special Award im Jahr 2018. Während seines Studiums veröffentlichte er zwei Artikel als Erstautor in der führenden Physikzeitschrift PRL (Physical Review Letters) und einen in PRB (Physical Review B).
Referenzlinks:
[1]https://x.com/ShunyuYao12/status/1818807946756997624
[2]https://ysymyth.github.io
[3]https://x.com/karinanguyen_/status/1819082842238079371
[4]https://weibo.com/1676317545/HCR7yuXAl?refer_flag=1001030103_
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
