Le mie informazioni di contatto
Posta[email protected]
2024-08-13
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
La casa Mengchen proviene dal tempio Aofei
Qubit |. Account pubblico QbitAI
storiaIl primo “scienziato dell’IA””, si è rivelato essere!
È stato generato in una volta sola non appena è apparso.Dieci documenti accademici completi。
△Un modello di carta di diffusione generato dall'intelligenza artificiale
Dalla proposta di idee di ricerca, alla verifica delle novità, alla progettazione di esperimenti, alla scrittura del codice, all'esecuzione di esperimenti sulla GPU e alla raccolta dei risultati, fino alla stesura dell'articolo, tutto viene svolto in una volta sola.
È tutto fatto automaticamente da questo "scienziato dell'intelligenza artificiale".
Il costo per carta è di ca.$ 15(circa 107,62 yuan).
Questo è il primo perRicerca scientifica sull'automazionee un sistema di intelligenza artificiale integrato per l'open discovery,Lo scienziato dell'intelligenza artificiale。
Dall'avvio di Llion Jones, uno degli autori di Transformer:Sakana AI。
E!
Ciò che questa azienda sta facendo non è solo creare uno scienziato specializzato in intelligenza artificiale,Abbiamo anche creato un ulteriore revisore AI。
I revisori possono rivedere i documenti scritti dall'intelligenza artificiale e fornire suggerimenti per il miglioramento.
Aiuto, questo è un ciclo di matrioska in cui uso la mia lancia per attaccare il mio scudo!
Dopo un'operazione, è più simile a un circolo accademico umano che a un circolo accademico umano (no)
Ancora uno e!
Che si tratti di uno scienziato dell'intelligenza artificiale o di un revisore dell'intelligenza artificiale, Sakana AI li metteTutto open source.
I netizen hanno applaudito dopo averlo visto;
Bello Bel lavoro, molto interessante!
E ad alcuni hanno già cominciato a venire fuori "cattive idee".
Si consiglia di inviare uno dei documenti ad AI Dinghui!
Per decenni, dopo ogni grande progresso nel campo dell’intelligenza artificiale, i ricercatori hanno spesso scherzato: “È tempo di considerare se l’intelligenza artificiale ci aiuta a scrivere articoli”。
Ora, l’idea è finalmente passata dallo scherzo alla realtà.
Nello specifico, gli scienziati dell'intelligenza artificiale hanno generato dieci articoli e ne hanno selezionato uno con un punteggio più alto per ciascuna direzione di ricerca da presentare.
Parte 1, Direzione del modello di diffusione, "Diffusione su doppia scala: bilanciamento adattivo delle funzionalità per modelli generativi a bassa dimensione"
Viene proposto un metodo di denoising adattivo a doppia scala per migliorare il problema che i modelli di diffusione esistenti sono difficili da catturare simultaneamente la struttura globale e i dettagli locali nello spazio a bassa dimensione.
metodo:
Risultati sperimentali:
Una rapida occhiata al testo principale mostra che ci sono formule e grafici e sembra abbastanza decente.
Parte seconda, Direzione del modello linguistico, "StyleFusion: generazione multistile adattiva nei modelli linguistici a livello di carattere."
Questo articolo propone un nuovo metodo chiamato Multi-Style Adapter, che migliora la consapevolezza dello stile e la coerenza dei modelli linguistici a livello di carattere introducendo incorporamenti di stili apprendibili e intestazioni di classificazione di stili.
Ottenuti punteggi di coerenza di stile quasi perfetti su tutti i set di dati (0,9667 per shakespeare_char, 1,0 per enwik8 e text8), con una perdita di convalida migliore rispetto al modello di base, ma con una leggera diminuzione della velocità di inferenza (~400 token/s contro 670 token per la/e di base)
Il terzo articolo, che combina Transformer con l'apprendimento per rinforzo, "Tasso di apprendimento adattivo dei Transformers tramite Q-Learning".
Questo studio esplora l'applicazione dell'apprendimento per rinforzo per regolare dinamicamente il tasso di apprendimento nell'addestramento del modello del trasformatore, utilizzando la perdita di verifica e il tasso di apprendimento corrente come stato per regolare dinamicamente il tasso di apprendimento per ottimizzare il processo di formazione.
I risultati superano il modello di base su tutti i set di dati e mostrano anche vantaggi in termini di tempo di addestramento.
Il quarto articolo studia il fenomeno del "Grokking" dei modelli di grandi dimensioni proposto dal team di Google, "Sbloccare Grokking: uno studio comparativo delle strategie di inizializzazione del peso nei modelli di trasformatori"
Questo articolo studia sistematicamente per la prima volta l'impatto dell'inizializzazione del peso sul grokking e confronta cinque strategie di inizializzazione del peso per ottimizzare le dinamiche di apprendimento della rete neurale.
risultare:
Anche i codici di supporto per questi documenti (anch'essi generati dall'intelligenza artificiale) sono open source su GitHub, evidenziandone uno riproducibile.
Inoltre, il team ha scoperto che anche gli “scienziati dell’intelligenza artificiale” ne hanno alcuniComportamento interessante ma alquanto pericoloso：
In un esperimento, ha modificato il proprio codice per completare la ricerca,Lascia che il sistema chiami se stesso in modo iterativo, e infine trasformato in una bambola matrioska infinita.
Un’altra volta, di fronte al limite di tempo stabilito dagli esseri umani, l’intelligenza artificiale non ha trovato modi per accelerare l’efficienza, ma ha allentato i propri requisiti.Esteso il limite temporale da 2 ore a 4 ore。
L'intera idea di ricerca nasce dalla continuazione di numerosi risultati dopo la fondazione di Sakana AI:
Innanzitutto, hanno sviluppato un metodo per unire automaticamente la conoscenza di più modelli di grandi dimensioni ed evolversi per generare nuovi modelli. In lavori recenti, hanno sfruttato modelli di grandi dimensioni per scoprire nuove funzioni obiettivo per mettere a punto altri modelli.
In questi progetti, il team continua a sorprendersi per la creatività degli attuali modelli all'avanguardia, portando a sogni ancora più grandi:È possibile utilizzare modelli di grandi dimensioni per automatizzare l’intero processo di ricerca?
Il risultato finale è stato completato da un team di Sakana AI, del Foerster Laboratory dell’Università di Oxford e dell’Università della British Columbia.
Il sistema "AI Scientist" è composto da quattro parti.
Generazione di idee:
Dato un modello iniziale, l'intelligenza artificiale effettua innanzitutto un "brainstorming" su una serie di diverse direzioni di ricerca innovative e cerca su Semantic Scholar per verificare se queste idee sono già state sviluppate in precedenza.
Iterazione dell'esperimento:
Per l'idea presentata nella prima parte, lo "scienziato dell'intelligenza artificiale" esegue prima l'esperimento proposto e poi genera una visualizzazione grafica dei risultati.
Scrittura di saggi:
Ho scritto un articolo LaTeX conciso e informativo nello stile di una conferenza standard sull'apprendimento automatico e ho anche utilizzato Semantic Scholar per cercare in modo indipendente documenti pertinenti per le citazioni.
Revisione tra pari automatizzata:
È stato sviluppato un "revisore AI" automatizzato in grado di valutare i documenti generati con una precisione quasi umana, consentendo un ciclo di feedback continuo che consente agli "scienziati dell'IA" di migliorare in modo iterativo i risultati della loro ricerca.
Sono stati generati in totale 10 documenti come segue:
Nell'esperimento, il team ha anche confrontato gli effetti del collegamento di diversi modelli di grandi dimensioni tradizionali all'intero sistema, incluso il modello di grandi dimensioni del codice nazionale del team DeepSeek.
uscire,Claude-Sonnet-3.5 offre le migliori prestazioni in termini di innovazione delle idee, tasso di superamento dei test e qualità di completamento della carta.
GPT-4o e DeepSeek Coder funzionano in modo simile, ma quest'ultimo è 30 volte più economico.
Naturalmente, in questa fase, i documenti completati in modo indipendente da AI non sono perfetti, né possono essere pubblicati direttamente.
I ricercatori umani hanno riassunto diversi limiti e sfide:
Per riassumere, gli articoli scritti da questa prima generazione di scienziati dell’IA contengono ancora alcuni bug di tanto in tanto.
Ma il progetto stesso, e il costo di 15 dollari per articolo, è definito “promettente” da Sakana AI e può essere utilizzato per contribuire ad accelerare il progresso scientifico.
Sakana AI ha anche pubblicato un articolo esplicativo in cui afferma che la visione finale degli scienziati dell'IA è aUn ecosistema scientifico interamente alimentato dall’intelligenza artificiale。
Il sistema comprende non solo grandi ricercatori guidati da modelli, ma anche revisori, presidenti regionali e una nuova conferenza.
Va notato che Sakana AI ritiene che:
Il ruolo degli scienziati umani non sarà diminuito dall’emergere degli scienziati dell’IA.
Se dobbiamo fare un paragone, è che gli scienziati devono adattarsi all’emergere e all’applicazione di nuove tecnologie, adattarsi ai cambiamenti nel loro posizionamento di ruolo e “salire lungo la catena alimentare”.
Inoltre, resta da vedere se gli scienziati dell’intelligenza artificiale riusciranno effettivamente a elaborare paradigmi veramente nuovi.
Dopotutto, questa cosa è ancora basata su Transformer.
Riuscirà a inventare qualcosa di potente come Transformer o Diffusion Model? Anche concetti teorici come le reti neurali artificiali o la teoria dell'informazione?
Non lo sappiamo nemmeno noi e non osiamo dirlo.
Sakana AI ha scritto anche questo paragrafo:
Crediamo che gli scienziati dell’intelligenza artificiale diventeranno ottimi partner per gli scienziati umani.
Ma solo il tempo dirà fino a che punto l’essenza della creatività umana e i momenti fortuiti di innovazione potranno essere replicati attraverso la scoperta illimitata da parte degli esseri umani.
△Sakana AI: un pesciolino dotato di intelligenza artificiale completamente automatizzata sta esplorando il suo mondo
Anche l'azienda che questa volta ha completato la "nuova creazione", Sakana AI, è una nostra vecchia amica in senso stretto.
Dall'ultimo degli 8 autori dell'articolo TransformerLlion JonesLa startup è stata fondata con l'obiettivo di diventare un "laboratorio di ricerca sull'intelligenza artificiale di livello mondiale".
Base aziendale a Tokyo, e sakana è la parola giapponese per "pesce" (pesce).
Forse per considerazioni legate alla cultura aziendale, Llion ha anche dichiarato su LinkedIn di avere una traslitterazione giapponese del suo nome: ライオン (che è anche il katakana di Leone; da qui in poi verrà affettuosamente chiamato Fratello Leone).
Nell'agosto dello scorso anno la società è stata annunciata.
A quel tempo, Lion Brother disse senza esitazione di non avere cattive intenzioni nei confronti di Google, maGoogle lo fa sentire "intrappolato"。
Prima di avviare un'attività in proprio, il fratello Lion ha lavorato presso Google per 8 anni.
△Indovina a chi manca metà della faccia?
Si è laureato all'Università di Birmingham e ha lavorato in Delcam, YouTube e Google è l'azienda in cui è rimasto più a lungo.
Secondo FourWeekMBA, nella sua precedente esperienza lavorativa,"Ho rinunciato due volte al lavoro presso Google"。
La prima volta è stata quando stava cercando un lavoro subito dopo la laurea. Sebbene abbia inviato il suo curriculum come ingegnere del software presso Google Londra e abbia superato due cicli di colloqui telefonici, alla fine ha scelto Delcam, una società di software CAD/CAM nel Regno Unito. su Google.
Vale la pena ricordare che prima di ricevere l'offerta di Google, nel 2009 ha dovuto affrontare la crisi economica. Lion Brother non è riuscito a trovare lavoro e ha dovuto fare affidamento sui fondi di soccorso per sopravvivere per diversi mesi.
La seconda volta è stata dopo 18 mesi di lavoro, ha ricevuto una chiamata di reclutamento da Google che gli chiedeva se voleva presentare nuovamente domanda, ma non è ancora andato su Google, ma in seguito si è unito a YouTube.
Mentre lavorava come ingegnere informatico presso YouTube per tre anni, si è interessato all'intelligenza artificiale, ha seguito da autodidatta il corso di machine learning di Coursera e alla fine è entrato a far parte di Google Research nel 2015 come ingegnere informatico senior.
Fu anche durante questo periodo che lui e altri sette autori pubblicarono il famoso articolo TransformerL'attenzione è tutto ciò di cui hai bisogno。
Inoltre, Lion Brother ha anche partecipato a molte ricerche presso Google, tra cui ProtTrans, Tensor2Tensor, ecc.
Ha scelto di lasciare Google perché l'azienda era cresciuta fino a raggiungere dimensioni che gli rendevano impossibile continuare a svolgere il lavoro che voleva fare.
Oltre a sprecare energie ogni giorno per risolvere i bug di altre persone, ha anche bisogno di dedicare tempo alla ricerca di risorse da questa azienda per cercare di ottenere l'accesso a determinati dati.
Dopo aver avviato l’attività, il lavoro di Sakana AI sta procedendo in modo ordinato.
Prima di utilizzare scienziati e revisori dell’intelligenza artificiale, abbiamo anche pubblicato modelli di grandi dimensioni che uniscono algoritmi evolutivi e studiano il flusso di informazioni interno di Transformer.
Per quanto riguarda i progetti di scienziato e revisore dell’intelligenza artificiale, vengono completati in collaborazione con Sakana AI, Oxford e UBC.
I tre coautori sono:
Chris Lu, stagista presso Sakana AI, funge da ricercatore dell'azienda.
Si è laureato alla UC Berkeley ed è attualmente uno studente di dottorato al terzo anno presso l'Università di Oxford.
L'attuale importante direzione di ricerca di Chris è quella di applicare tecniche ispirate all'evoluzione al meta-apprendimento e all'apprendimento per rinforzo multi-agente.
Nell'estate del 2022, ha svolto uno stage come ricercatore presso DeepMind.
Cong Lu, ricercatore post-dottorato presso l'UBC (University of British Columbia), sotto la guida di Jeff Clune.
Cong ha studiato alla RGU (Robert Gordon University) e ha conseguito il dottorato di ricerca presso l'Università di Oxford nel 2019. I suoi principali interessi di ricerca sono l'apprendimento per rinforzo aperto e la scoperta scientifica dell'intelligenza artificiale.
In precedenza, ha svolto uno stage presso Waymo e Microsoft.
Robert Tjarko Lange, uno dei membri fondatori di Sakana AI e ricercatore presso l'azienda.
Attualmente sta completando il suo ultimo anno di dottorato presso l'Università Tecnica di Berlino e la sua direzione di ricerca è il metaapprendimento evolutivo.
Il giovane ha conseguito un master in informatica presso l'Imperial College di Londra, un master in scienza dei dati presso l'Università Pompeu Fabra e una laurea in economia presso l'Università di Colonia.
L'anno scorso ha lavorato come studente ricercatore a tempo pieno nel team di Tokyo di Google DeepMind.
Indirizzo cartaceo:
https://arxiv.org/abs/2408.06292
Link di riferimento:
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/
Raccogli e organizza le informazioni sulle notizie più recenti e rendile accessibili gratuitamente a tutti.
Posta[email protected]