la nuova ricerca dell'accademico yao qizhi sui modelli di grandi dimensioni ha risolto il problema "qual è più grande, 9.11 o 9.8?"
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
l'articolo è ristampato in qubit (qbitai)
autore: vento dell'ovestl'accademico yao qizhi prende l'iniziativa e lancia un nuovo quadro di ragionamento per i grandi modelli. la "corona" della cot non può più resistere.proporre il diagramma del pensiero per far sì che i modelli di grandi dimensioni pensino più come gli esseri umani.il team fornisce una base matematica per questo processo di ragionamento e formalizza il dot attraverso la teoria topos per garantirne la coerenza logica e la razionalità.rispetto a cot, che esprime il processo di ragionamento come una sequenza lineare, dot può catturare meglio la complessità del ragionamento umano.rispetto all’introduzione delle strutture filiali tot e got, dot non ha bisogno di fare affidamento su meccanismi di controllo esterni o sulla cooperazione di più modelli, e la formazione e l’implementazione sono più semplici.il segreto è che dot modella l'inferenza iterativa in llm come la costruzione di un grafico aciclico diretto (dag) all'interno di un singolo modello.dag è costituito da nodi che rappresentano proposizioni, critiche, perfezionamenti e verifiche. i bordi rappresentano le relazioni logiche o le dipendenze tra loro. i bordi hanno direzioni e non ci sono percorsi circolari.questa caratteristica aciclica garantisce che il processo di ragionamento non sia influenzato da dipendenze circolari e possa riflettere più fedelmente una derivazione logica ragionevole.domande come quale sia più grande, 9.11 o 9.8, e quante "r" ci sono nella fragola, sono tutte risolte con l'aiuto di dot.questo studio ha ricevuto molta attenzione dopo essere stato proposto.i netizen hanno espresso che questa è la strada giusta.smettila, smettila, smettila
vediamo nello specifico come si presenta dot.un nuovo quadro per il ragionamento complesso in modelli di grandi dimensioni
come accennato in precedenza, dot modella il processo di ragionamento logico come la costruzione di un grafico aciclico diretto (dag) all'interno di un singolo llm.all'interno del suo framework vengono gestiti tre ruoli chiave:proponente: genera proposizioni o passaggi di ragionamento, aggiungi nuovi nodi.
critici: valutare proposizioni, identificare errori, incoerenze o errori logici e aggiungere nodi di critica.
riepilogo: sintetizza le proposizioni verificate in una catena di pensiero coerente ed esegui in modo efficace il tipo topologico di dag per produrre l'output del ragionamento finale.
questi tre ruoli utilizzano gettoni specialiil processo di ragionamento inizia con il proponente che introduce una proposta e aggiunge un nodo al dag.spetta quindi ai revisori valutare, convalidare o fornire critiche. se viene fornita una critica, viene aggiunto un nuovo nodo e viene stabilito un confine tra la proposizione e la critica.sulla base delle critiche, il proponente genera una proposta raffinata e migliorata, rappresentata come un nuovo nodo nel dag.questo processoripetere,。una volta stabilite proposizioni sufficientemente valide, il riassuntivo sintetizza questi ragionamenti e ordina topologicamente il dag per produrre una catena di pensieri coerente.esponendo il modello sia al ragionamento corretto che a quello errato, dot consente al llm di imparare dai propri errori e affinare il proprio ragionamento nel tempo, più come il modo in cui gli esseri umani risolvono i problemi.questo approccio non solo cattura la natura non lineare e iterativa del ragionamento, ma fornisce anche un feedback più ricco rispetto ai segnali binari attraverso la critica del linguaggio naturale.la formazione del dot prevede l'utilizzo di esempi di formazione formattati nella struttura dot, inclusi token specifici del ruolo e rappresentazioni dag. durante il ragionamento, il modello genera proposizioni, critiche e riassunti basati su indizi contestuali e token specifici del ruolo.questo approccio semplifica l'implementazione ed elimina la necessità di collaborazione multi-llm o meccanismi di controllo esterno, pur rimanendo coerente con i paradigmi di formazione llm standard per una facile integrazione nei flussi di lavoro esistenti.l'autore fornisce anche una rigorosa base matematica per il framework dot, utilizzandoil processo di ragionamento è formalmente descritto.in questo quadro, le proposizioni sono modellate come sotto-oggetti di oggetti terminali nella topologia, le relazioni logiche e i passaggi del ragionamento sono rappresentati come morfismi, e i processi di critica e miglioramento corrispondono rispettivamente ai morfismi dei classificatori dei sotto-oggetti e ai morfismi tra proposizioni.introducendo la categoria prenet, hanno catturato con successo anche la natura dinamica e simultanea del processo di inferenza.questa base matematica non solo garantisce la coerenza logica e la completezza del processo di ragionamento, ma fornisce anche un quadro concettuale per progettare la prossima generazione di modelli di intelligenza artificiale specifici per il ragionamento.guidato da yao qizhi e yuan yang dell'università tsinghua
questo articolo è stato condotto da yao qizhi e yuan yang dell'istituto di informazione interdisciplinare tsinghua. il primo autore dell'articolo è zhang yifan.zhang yifan si è laureato nel 2021yuanpei college dell'università di pechino, è attualmente un dottorando presso la school of interdisciplinary information, tsinghua university, studiando con l'assistente professor yuan yang.le sue principali direzioni di ricerca sono la teoria e gli algoritmi dei modelli di base (modelli linguistici di grandi dimensioni), l'apprendimento autosuperato e l'intelligenza artificiale affidabile.yuan yang è assistente professore e supervisore del dottorato presso la school of interdisciplinary information, tsinghua university.laureato al dipartimento di informatica dell'università di pechino nel 2012; ha conseguito un phd in informatica presso la cornell university negli stati uniti nel 2018, ha lavorato come postdoctoral fellow presso la school of big data science del massachusetts institute; della tecnologia.le sue principali direzioni di ricerca riguardano l'assistenza medica intelligente, l'interpretabilità dell'intelligenza artificiale e i grandi sistemi di intelligenza artificiale. ha ottenuto numerosi risultati di ricerca nei campi della teoria dell'ottimizzazione non convessa, della teoria dell'ottimizzazione delle reti neurali e della progettazione dei meccanismi.yao qizhi è un accademico dell'accademia cinese delle scienze e direttore dell'istituto di informazione interdisciplinare dell'università di tsinghua, è anche un ";premio turing"il primo studioso asiatico a vincere il premio sin dalla sua istituzione, e l'unico scienziato informatico cinese ad aver vinto questo onore finora.il professor yao qizhi si è dimesso da princeton come professore di ruolo nel 2004 ed è tornato a tsinghua per insegnare nel 2005. nel 2011 ha fondato la "yao class", un corso sperimentale di informatica per gli studenti universitari di tsinghua " e l '"istituto interdisciplinare di ricerca sull'informazione"; nel 2019. nel 2008, ha fondato un corso di intelligenza artificiale per studenti universitari di tsinghua, denominato "smart class".oggi, l'istituto di informazione interdisciplinare dell'università tsinghua da lui guidato è famoso da tempo. yao class e zhiban sono entrambi affiliati all'istituto di informazione interdisciplinare.gli interessi di ricerca del professor yao qizhi includono algoritmi,crittografia、informatica quantisticaecc., sono pionieri e autorità internazionali in questo campo.un'altra cosa
più o meno nello stesso periodo di un anno fa, l’accademico yao qizhi ha presentato la propostaragionamento cumulativo(metodo del ragionamento cumulativo, cr).dot è un ulteriore approfondimento di cr.a quel tempo, cr coordinava un processo iterativo che coinvolgeva ampi modelli linguistici di diverse specializzazioni, con diversi modelli che assumevano i ruoli di proponente, verificatore e reporter.dot, d'altro canto, costruisce direttamente un grafico aciclico diretto all'interno di un singolo modello e non si basa su meccanismi di controllo esterni o modelli multipli, rendendo la formazione e l'implementazione più semplici.e in dot, il feedback critico generato dal modello è sotto forma di linguaggio naturale, anziché fornire solo un segnale binario come cr. ciò consente al modello di ricevere spiegazioni dettagliate degli errori, contribuendo a migliorare le proposte in modo più efficace.questa volta dot ha anche una solida base matematica, che chiarisce la relazione tra il processo di ragionamento di dot e la logica categoriale, garantendo la coerenza e l'affidabilità del ragionamento in teoria.
