notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Il vento dell'ovest di Jin Lei proviene dal Tempio Aofei
Qubit |. Account pubblico QbitAI

Miglior studente della classe Yao alla Tsinghua UniversityYao Shunyu, ha annunciato ufficialmente la sua adesione a OpenAI.

Ma proprio un messaggio così breve ha attirato l'attenzione e le benedizioni di tutti nel cerchio. Vieni e prova questa sensazione:

Tra questi, ce ne sono molti, come il direttore della ricerca all’avanguardia di OpenAI e il coach americano dell’IOI.Segna Chen, nonché professori, investitori, ecc. nel campo dell'intelligenza artificiale.

Allora perché Yao Shunyu attira così tanta attenzione?

A giudicare dal suo curriculum passato, possiamo estrarre le seguenti parole chiave:

• Lezione di Yao all'Università Tsinghua
• Presidente del comitato congiunto della classe Yao
• Co-fondatore del Rap Club studentesco dell'Università di Tsinghua
• Dottorato in Informatica a Princeton

△Yao Shunyu, fonte foto: homepage personale

Ma oltre al suo curriculum relativamente brillante, sono stati i suoi numerosi risultati nella ricerca scientifica che hanno davvero portato Yao Shunyu agli occhi del pubblico:

• albero pensante(Albero dei pensieri): lascia che LLM pensi ripetutamente e migliori notevolmente la capacità di ragionamento.
• Panchina SWE: un set di dati di valutazione della capacità del modello di grandi dimensioni.
• Agente SWE: Un programmatore AI open source.

Non è esagerato affermare che quasi tutte le ricerche hanno causato notevoli increspature nel circolo ed è ovvio che esse siano tutte profondamente circostanti;modello di grandi dimensioniE spiegarsi.

Ciò potrebbe anche corrispondere a una frase contenuta nell'annuncio ufficiale di Yao Shunyu:

È tempo di trasformare la visione della ricerca in realtà.

Per quanto riguarda questa “visione della ricerca”, continuiamo a osservarla più da vicino.

Parole chiave della ricerca: Agenti linguistici

Se si guarda la homepage di Yao Shunyu, in particolare la sezione di ricerca della tesi, non è difficile trovare una frase che appare molto frequentemente——Agenti linguistici。

Nel profilo incluso nella sua home page di X, la prima frase è anche Language Agents:

E questo è anche il titolo della sua tesi di dottorato:Agenti linguistici: dalla previsione del prossimo token all'automazione digitale。

Agenti linguistici, vale a direagente linguistico, fu Yao Shunyu a proporre un nuovo tipo di agente.

Diversamente dagli agenti tradizionali, questo metodo utilizza modelli linguistici per il ragionamento e le azioni degli agenti, concentrandosi sulla loro realizzazioneautomazione digitale(Automazione digitale).

Per quanto riguarda le modalità di implementazione specifiche, ci sono tre tecnologie chiave (tutte con documenti indipendenti), che sono:

• Reagire: Un metodo che combina ragionamento e azione per generare traiettorie di ragionamento e azioni attraverso modelli linguistici per risolvere vari ragionamenti linguistici e compiti decisionali.
• albero pensante: Un metodo basato sulla ricerca per albero che risolve problemi complessi e migliora la capacità di ragionamento dei modelli linguistici generando e valutando molteplici percorsi di pensiero.
• CoALA: un quadro concettuale per organizzare e progettare agenti linguistici, inclusi aspetti come la memoria, lo spazio d'azione e il processo decisionale.

Prendendo ReAct come esempio, la ricerca è quella di espandere lo spazio d'azione del modello linguistico nell'unione dell'insieme di azioni e dello spazio linguistico.

Le azioni (cioè le traiettorie di pensiero o di ragionamento) nello spazio linguistico non influenzano l'ambiente esterno, ma possono aggiornare il contesto attraverso il ragionamento sul contesto attuale e possono supportare ragionamenti o azioni future.

Ad esempio, nel dialogo mostrato nella figura seguente, il metodo ReAct può essere utilizzato per guidare l'agente a scorrere il processo di "generazione di idee → azione → osservazione dei risultati".

In questo modo, la traiettoria e il funzionamento del ragionamento possono essere combinati, consentendo al modello di eseguire un ragionamento dinamico, migliorando il processo decisionale dell'agente e i risultati finali.

Se il metodo ReAct si riduce a lasciare che l'agente“ragione per agire”, allora il metodo successivo èalbero pensante, quindi l'obiettivo è lasciare che l'agente“motivo per pianificare”。

L'albero pensante rappresenta il problema come una ricerca sulla struttura ad albero. Ogni nodo è uno stato, che rappresenta una soluzione parziale, e i rami corrispondono alle operazioni che modificano lo stato.

Si tratta principalmente di quattro questioni:

• Scomposizione del pensiero: scomporre un problema complesso in una serie di passaggi intermedi, ogni passaggio può essere considerato come un nodo dell'albero.
• Generazione del pensiero: utilizza modelli linguistici per generare potenziali pensieri per ciascun nodo, che sono passaggi intermedi o strategie per risolvere i problemi.
• Valutazione dello stato: utilizzare il modello linguistico per valutare lo stato di ciascun nodo per determinarne i progressi e il potenziale nella risoluzione dei problemi.
• Algoritmo di ricerca: utilizza diversi algoritmi di ricerca (come la ricerca in ampiezza BFS o la ricerca in profondità DFS) per esplorare l'albero di pensiero e trovare la soluzione ottimale.

Applicando l'albero del pensiero al gioco "a 24 punti", rispetto alla precedente catena di pensiero (CoT), il tasso di precisione è stato notevolmente migliorato.

Per quanto riguarda l'ultima tecnologia chiave degli agenti linguistici, ovviamenteCoALA, è un quadro concettuale per l'organizzazione e la progettazione di agenti linguistici.

A giudicare dal diagramma strutturale riportato di seguito, è approssimativamente suddiviso in tre moduli: memorizzazione delle informazioni, spazio di azione e processo decisionale.

Archiviazione delle informazioni significa che l'agente linguistico archivia le informazioni in più moduli di memoria, inclusa la memoria di lavoro a breve termine e la memoria a lungo termine (come la memoria semantica, la memoria episodica e la memoria procedurale).

Questi moduli di memoria vengono utilizzati per archiviare diversi tipi di informazioni, come input sensoriali, conoscenza, esperienza, ecc., e svolgono un ruolo nel processo decisionale dell'agente.

Inoltre, CoALA divide lo spazio d'azione dell'agente in azioni esterne e azioni interne; le azioni esterne implicano interazioni con l'ambiente esterno, come il controllo di robot, la comunicazione con gli esseri umani o l'esecuzione di operazioni in ambienti digitali.

Le azioni interne interagiscono con lo stato interno e la memoria dell'agente, comprese operazioni come il ragionamento, il recupero e l'apprendimento.

In definitiva, l’agente linguistico sceglierà l’azione da compiere attraverso il processo decisionale e questo processo troverà anche la soluzione ottimale sulla base di vari fattori e feedback;

Inoltre, ci sono lavori come programmatori di intelligenza artificiale open sourceAgente SWEecc., è ampiamente diffuso anche nel circolo.

Ma dai numerosi argomenti di ricerca scientifica di Yao Shunyu, oltre agli agenti linguistici, possiamo vedere anche un'altra parola chiave che persegue:pensiero computazionale。

Questo è stato effettivamente rivelato quando era uno studente universitario.

Prima di andare all'Università di Princeton per studiare per un dottorato in informatica, Yao Shunyu, come senior nella classe del 2015, ha condiviso la sua esperienza di apprendimento e crescita presso l'Università di Tsinghua con i candidati al riesame alla cerimonia di apertura dei vari tipi di Tsinghua del 2019 di riesami di selezione indipendenti.

Il contenuto rilevante è registrato in un articolo che ha scritto intitolato "Cosa hai imparato durante le lezioni di Yao all'Università di Tsinghua? Yao Shunyu: abbastanza per cambiare il mondo".

A quel tempo, si concentrò sulla condivisione del pensiero computazionale sia dagli aspetti teorici che pratici e rivelò che sentiva che, dopo quattro anni,Il vantaggio più grande è il pensiero computazionale：

Ora stiamo vedendo molte cose che sono teoricamente impossibili. La cosiddetta teoria guida la pratica, penso che significhi di più che dobbiamo comprendere i limiti delle capacità di un sistema e la difficoltà delle cose da un livello elevato, e poi scegliere cosa può essere fatto e cosa è significativo.

Chiuso nell'etichetta di un ragazzo solare e allegro, Yao Shunyu ha anche condiviso la sua esperienza di viaggio in Argentina per il Programma di Infiltrazione Meridionale di Tsinghua:

Ho conosciuto un gruppo di ragazzi argentini...l'inglese non è universalmente parlato, gli argentini parlano spagnolo. Una volta ho provato a imparare lo spagnolo, ma ho rinunciato perché studiavo informatica e ho tirato fuori Google Translate. Ho raccontato loro della Città Proibita e della Grande Muraglia a Pechino...

△Fonte: account ufficiale delle ammissioni di Tsinghua

A suo avviso, in quest'epoca, l'informatica può essere combinata con qualsiasi disciplina, e il mondo è un posto grande e puoi fare quello che vuoi a Tsinghua.

Dopo aver parlato di Yao Shunyu, chi altro nella classe Yao sta lavorando su modelli di grandi dimensioni?

Il famoso modello grande, chi altro della classe Yao ci sta lavorando?

Quello che devo menzionare èMa TengyuEChen Danqi。

I due erano compagni di classe all'epoca, ex studenti della Tsinghua Yao Class nel 2008, ed entrambi in seguito vinsero il Premio Sloan, noto come "Premio Nobel Trend Vane".

Il dottor Ma Tengyu ha studiato all'Università di Princeton, dove il suo mentore è stato il professor Sanjeev Arora, uno scienziato informatico teorico e due volte vincitore del Premio Gödel.

Dopo aver conseguito il dottorato, le migliori università come il MIT, Harvard e Stanford gli hanno offerto offerte come assistente professore e Ma Tengyu alla fine ha scelto Stanford.

Alla fine dello scorso anno, Ma Tengyu ha anche annunciato ufficialmente la fondazione di Voyage AI, una startup di modelli su larga scala. Ha rivelato che avrebbe guidato un team per costruire il miglior modello integrato attualmente e fornire anche modelli personalizzati incentrati su a determinato settore o impresa.

Tre professori, tra cui Christopher Manning, direttore dello Stanford Artificial Intelligence Laboratory, e Li Feifei, un famoso studioso cinese nel campo dell'intelligenza artificiale, fungono da consulenti accademici per Voyage AI.

Chen Danqi, dopo aver completato i suoi studi universitari alla Tsinghua Yao Ban, ha conseguito un dottorato di ricerca presso l'Università di Stanford nel 2018, concentrandosi sulla PNL. Alla fine è diventato professore assistente presso il Dipartimento di Informatica dell'Università di Princeton e vicedirettore della Princeton Language e Intelligence Project, co-guida del gruppo PNL di Princeton.

Dalla sua homepage personale si evince che “oggigiorno sono attratto principalmente dallo sviluppo di modelli di grandi dimensioni” e gli argomenti su cui sta ricercando includono:

• Come il recupero può svolgere un ruolo importante nei modelli di prossima generazione, migliorando realismo, adattabilità, interpretabilità e affidabilità.
• Formazione e implementazione a basso costo di modelli di grandi dimensioni, metodi di formazione migliorati, gestione dei dati, compressione dei modelli e ottimizzazione dell'adattamento delle attività a valle.
• Interessato anche a lavori che migliorino realmente la comprensione delle capacità e dei limiti degli attuali modelli di grandi dimensioni, sia empiricamente che teoricamente.

Anche il lavoro di modello di grandi dimensioni e i qubit del team di Chen Danqi continuano a prestare attenzione.

Ad esempio, l’algoritmo di selezione dei dati LESS, un metodo di riduzione dei costi proposto per modelli di grandi dimensioni, seleziona solo il 5% dei dati più rilevanti per l’attività di messa a punto delle istruzioni, il che è meglio che utilizzare l’intero set di dati.

La messa a punto delle istruzioni è un passaggio fondamentale per trasformare il modello di base in un modello di assistente ChatGPT.

Proposto il popolare metodo di "tosatura dell'alpaca" - metodo di potatura di modelli di grandi dimensioni LLM-Shearing, che utilizza solo il 3% dell'importo del calcolo e il 5% del costo per ottenere SOTA, dominando la scala 1B-3B dei modelli di grandi dimensioni open source.

Oltre a questi due, ci sono molti ex studenti della Yao Class che lavorano su modelli su larga scala nell'industria e nel mondo accademico.

L'applicazione nativa del modello grande che era popolare su Internet era "Finita!" "I'm Surrounded by Big Models" e il suo seguito "I Broken the Big Models" sono stati sviluppati da un team guidato dai migliori studenti di Yao Class.

autore del giocoFan Haoqiang , Dipendente Megvii n. 6. A quel tempo, era acclamato come un ragazzo geniale per le sue imprese leggendarie, come la medaglia d'oro dell'IOI, la raccomandazione alla classe Tsinghua Yao e la pratica del secondo anno di scuola superiore. Ora è direttore generale della ricerca presso Megvii Technology e leader del settore con Google Scholar h-index 32.

Il primo risultato della ricerca xAI di Musk, Tensor Programs VI, include anche gli ex studenti della classe Yao nel lavoro congiunto.

Tensor Programs VI è la continuazione della precedente serie di lavori Tensor Programs di Greg Yang, membro fondatore di xAI e discepolo di Shing-tung Yau, e l'articolo si concentra su "come addestrare reti infinitamente profonde".

Si dice che i risultati relativi ai programmi tensoriali siano stati applicati in GPT-4. Per interpretare l'articolo, lo stesso Yang ha condotto una trasmissione in diretta su X.

Lavorare insiemeDingli Yu, ha conseguito una laurea presso la Classe Yao dell'Università di Tsinghua. Attualmente, Dingli Yu sta per conseguire un dottorato di ricerca presso il Dipartimento di Informatica di Princeton.

Ce ne sono molti, molti altri......

Parlando del reclutamento di Yao Shunyu in OpenAI questa volta, gli sforzi di reclutamento di OpenAI continuano ancora.

L'ingegnere OpenAI Karina Nguyen ha pubblicato l'ultimo post di reclutamento:

• Il team di comportamento del modello OpenAI sta assumendo! Questa è una posizione da sogno che combina ingegneria del design e ricerca post-formazione ed è il lavoro più raro al mondo❤️
• Utilizziamo metodi di allineamento come RLHF/RLAIF per definire i comportamenti fondamentali del modello per riflettere i valori di base e migliorare l'intelligenza creativa dell'AGI. Attraverso questi risultati, collaboriamo con i team di progettazione e ingegneria del prodotto e del modello per creare nuovi modelli di interfacce e interazioni IA che avranno un impatto su milioni di utenti...
  

La cosa interessante è che Karina Nguyen era in realtà una ricercatrice presso Anthropic AI (il team di Claude), nel maggio dello scorso anno ha anche partecipato a un duello verbale su X (ex Twitter) con Jason Wei di OpenAI, l'autore di "Think Chain". Documento di fondazione”.

Non mi aspettavo che Karina Nguyen passasse a OpenAI così rapidamente...

A proposito, proprio ieri è arrivata la notizia che anche il ricercatore di Google DeepMind Thibault Sottiaux è stato assunto in OpenAI.

Sapete, Thibault Sottiaux è stato uno dei principali collaboratori di articoli come l'originale Gemini e Gemini 1.5.

Ciò dimostra quanto sia popolare attualmente la pista con modelli di grandi dimensioni. Le aziende sono in lizza per la pista e le persone sono in lizza per le persone.

Un'altra cosa

C'erano altri due Yao Shunyu che si laurearono all'Università Tsinghua nello stesso anno di Yao Shunyu!

Quando i tre studenti di Yao Shunyu si sono laureati nel 2019, i funzionari dell'Università di Tsinghua hanno pubblicato un post su Weibo e una foto di gruppo di loro tre.

Oltre a Yao Shunyu che ora si è unito a OpenAI, c'è un altro Yao Shunyuscuola di Lettere e FilosofiaUna ragazza che si specializza in giapponese.

Un altro Yao Shunyu è Yao ShunYu, daDipartimento di Fisica, è il vincitore del Undergraduate Special Award nel 2018. Durante il suo periodo universitario, ha pubblicato due articoli come primo autore sulla prestigiosa rivista di fisica PRL (Physical Review Letters) e uno su PRB (Physical Review B).

Link di riferimento:
[1]https://x.com/ShunyuYao12/status/1818807946756997624
[2]https://ysymyth.github.io
[3]https://x.com/karinanguyen_/status/1819082842238079371
[4]https://weibo.com/1676317545/HCR7yuXAl?refer_flag=1001030103_