i grandi modelli stanno iniziando a imparare a pensare come gli esseri umani. dov’è la strada verso l’agi?
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
due mesi fa, il problema delle deboli capacità matematiche dei modelli di grandi dimensioni ha attirato l'attenzione diffusa. molti modelli di grandi dimensioni sul mercato non riescono nemmeno a rispondere alla semplice domanda matematica "qual è più grande, 9.11 o 9.9?". due mesi dopo, l’industria sta gradualmente risolvendo il problema delle limitazioni nelle capacità matematiche dei modelli di grandi dimensioni.
la mattina presto del 13 settembre, ora di pechino, openai ha rilasciato senza preavviso una nuova serie di modelli di ragionamento, inclusi i modelli o1-preview, o1 e o1-mini. questo è il tanto vociferato “strawberry project” di openai con capacità di ragionamento avanzate. secondo openai, la nuova serie di modelli ha ottenuto buoni risultati su dati e codifica, ottenendo un punteggio dell’83% nell’esame di qualificazione delle olimpiadi matematiche internazionali (imo).
openai non è il solo a cercare di superare i limiti delle capacità matematiche. il team di google deepmind ha già lanciato in precedenza anche il sistema alpha alphaproof, che viene utilizzato per risolvere problemi matematici complessi.
superare i limiti dell’abilità matematica è un nuovo passo nell’evoluzione della tecnologia ai e sulla strada verso l’agi (intelligenza artificiale generale). secondo simon see, professore all'università di coventry e direttore globale dell'artificial intelligence technology center di nvidia, gli sforzi del settore per migliorare le capacità matematiche dell'intelligenza artificiale includono sforzi per combinare llm (modello linguistico di grandi dimensioni) con altre tecnologie. gli sforzi in diverse tecnologie creano uno slancio di fondo verso l’agi (intelligenza generale artificiale).
come risolvere i limiti delle capacità matematiche?
"si tratta di un importante progresso per compiti di ragionamento complessi e rappresenta un nuovo livello di capacità di intelligenza artificiale", ha scritto openai introducendo la serie di modelli o1. il ceo di openai, sam altman, ha anche affermato sulle piattaforme social che il nuovo modello è l'inizio di un nuovo paradigma, ovvero che l'intelligenza artificiale può eseguire ragionamenti generali complessi.
le capacità matematiche avanzate sono una caratteristica importante di questa serie di modelli. openai ha introdotto che le prestazioni aggiornate della nuova serie di modelli sono simili a quelle degli studenti di dottorato che completano impegnativi compiti di riferimento in fisica, chimica e biologia nell'esame di qualificazione delle olimpiadi matematiche internazionali (imo), gpt-4o ha risolto correttamente solo il 13%. delle domande, mentre il nuovo modello ha ottenuto l’83%.
per quanto riguarda il modo in cui il nuovo modello può ottenere migliori capacità matematiche e di programmazione, openai ha introdotto che l'azienda utilizza algoritmi di apprendimento per rinforzo su larga scala per "insegnare" al modello a utilizzare catene di pensiero per pensare in modo efficiente quando addestrano i dati in modo efficiente, in modo simile a come gli esseri umani pensano per un periodo. molto tempo prima di rispondere a domande difficili. tempo, man mano che l'apprendimento per rinforzo aumenta e il tempo per pensare aumenta, le prestazioni di o1 continuano a migliorare. il ricercatore di openai noam brown ha affermato che o1 apre una nuova dimensione per il ridimensionamento di modelli di grandi dimensioni (scaling), in modo che i modelli di grandi dimensioni non siano più soggetti al collo di bottiglia della pre-formazione e ora possano anche espandere i calcoli di inferenza. per quanto riguarda il ruolo delle capacità di ragionamento avanzate, openai ha affermato che può essere utilizzato per annotare i dati di sequenziamento cellulare nel campo sanitario e generare formule matematiche complesse nel campo della ricerca fisica.
google deepmind migliora le prestazioni finali del sistema ai combinando altre tecnologie oltre a llm. anche alphaproof si basa sull'apprendimento per rinforzo ed è un sistema per il ragionamento matematico. il sistema si è addestrato per dimostrare il linguaggio di programmazione lean, un linguaggio di programmazione utilizzato per aiutare a verificare i teoremi, e ha combinato il modello del linguaggio di formazione con l’algoritmo di apprendimento per rinforzo alphazero. secondo google, lean consente al sistema di verificare la correttezza quando si tratta di dimostrazioni di ragionamento matematico. di fronte a un problema, alphaproof genera soluzioni candidate e quindi ricerca in lean possibili passaggi di prova per dimostrare o confutare.
indipendentemente dal fatto che i principi tecnici siano simili, alphaproof e openai o1 tendono a riflettere profondamente rispetto ai modelli precedenti e non si affidano solo alla capacità di llm di prevedere e generare rapidamente il token successivo (elemento parola).
come raggiungere l'agi?
in precedenza, uno sviluppatore di modelli di grandi dimensioni aveva detto ai giornalisti che uno dei motivi della debole capacità matematica dei modelli di grandi dimensioni è che una grande quantità di dati matematici di alta qualità non viene utilizzata per addestrare il modello. man mano che la qualità dei dati migliora, il problema della matematica debole l'abilità può essere risolta. tuttavia, oltre alle ragioni dei dati di formazione, gli analisti del settore affermano che la scarsa capacità matematica di llm è anche dovuta al fatto che il metodo di previsione del prossimo token non è davvero intelligente. a giudicare dalle tendenze recenti, l’industria, tra cui openai e google deepmind, sta risolvendo il problema delle scarse capacità matematiche e di ragionamento del meccanismo operativo dei sistemi di intelligenza artificiale. in effetti, sta utilizzando varie tecnologie per compensare le carenze dei metodi operativi llm , in una certa misura. fai in modo che llm pensi più come gli esseri umani.
per quanto riguarda i limiti delle capacità di llm, come risolvere problemi come l'abilità matematica e come passare dall'attuale llm all'agi, l'industria sta ancora discutendo le cause profonde e le soluzioni. molti veterani del settore hanno recentemente tenuto una conferenza ospitata da saudi data e autorità per l'intelligenza artificiale discussi al gain summit summit mondiale sull'intelligenza artificiale. al vertice, simon see ha affermato che l'attuale intelligenza artificiale è "ristretta". molte persone pensano che il llm diventerà la forza trainante per la realizzazione dell'agi, ma in realtà non capiscono veramente come funziona e sono ancora sul punto di sviluppare il llm. ci sono ancora molti problemi da risolvere, come l’impossibilità di costruire modelli sempre più grandi perché non è possibile fornire energia illimitata.
"ora disponiamo di una grande quantità di dati. una volta che il modello sarà sufficientemente grande, emergeranno le capacità. a mio avviso, non è possibile fare affidamento su un'unica tecnologia. la direzione su cui sta attualmente lavorando l'industria include la combinazione di llm con altre conoscenza e tecnologie come nuovi simboli, calcolo, ecc. per comprendere e ragionare." simon see ha affermato che la combinazione di diverse tecnologie ha fatto grandi progressi di recente. alphaproof di deepmind combina linguaggio di programmazione lean, modelli linguistici, ecc., in modo che l'intelligenza artificiale possa essere utilizzato per dimostrazioni matematiche. lasciamo che llm combini varie tecnologie per dare al sistema di intelligenza artificiale il potere potenziale di portare all’agi.
anche antoine blondeau, co-fondatore e socio amministratore di alpha intelligence captal, ritiene che sia scontato che le macchine alla fine saranno migliori degli esseri umani, ma ci vorrà del tempo per raggiungere questo risultato, e c'è ancora molto lavoro scientifico lavoro da fare. secondo lui l’intelligenza artificiale non sarà un singolo modello, ma potrebbe essere una combinazione di più modelli. la macchina alla fine imparerà a osservare, provare o confutare, generalizzare e apprendere nel mondo reale come gli esseri umani.
per quanto riguarda l'attuale meccanismo e i limiti del llm, antoine blondeau ritiene che gli esseri umani imparino dalla vita, il 95% dei quali viene appreso dai "video con audio". l'essenza della nostra vita è fondamentalmente "accendere il video", e gli altri 5 % proviene da testo, ad esempio libri. gli esseri umani impareranno la semantica dai video. ad esempio, quando appaiono cinque dita, significa che potrebbe trattarsi di un essere umano o di un altro animale. gli esseri umani capiranno anche la sequenza del tempo e della causa ed effetto degli eventi dai video. ma quando una macchina impara da un video, il suo compito è prevedere il pixel successivo, il che non è il modo umano. se non riusciamo a far sì che le macchine imparino come gli esseri umani, sarà difficile per le macchine raggiungere livelli di intelligenza più elevati.
alex smola, noto scienziato dell'apprendimento automatico e fondatore e ceo della grande startup di modelli boson ai, ha sottolineato che i limiti del funzionamento llm sono legati anche alla previsione dei token. ha detto che la capacità di llm di prevedere il prossimo token (elemento verbale) è stata utilizzata per comprendere immagini, suoni, produrre suoni e negli ultimi 12 mesi tutto sembra essere diventato un token.
"in una certa misura, abbiamo iniziato a esaurire il numero di token disponibili. una stima approssimativa è che potrebbero esserci 100 trilioni di token, che potrebbero essere i token che gli esseri umani possono utilizzare per costruire llm. ci sono ancora molte forniture video e audio, una sorta di nella misura in cui questo entrerà in gioco, dipende anche da nvidia o da altre società che producono chip in grado di gestire queste modalità alex smola ha affermato che nel prossimo futuro, il nucleo di llm potrebbe essere la modellazione di sequenze (modellazione di sequenze). , che ora possono vedere i dati. , la convergenza dell'hardware e anche i modelli probabilistici si stanno evolvendo verso strutture simili. possiamo vedere fino a che punto potrà spingersi l'esplorazione correlata nei prossimi anni.
combinando il progresso tecnologico e guardando al futuro, antoine blondeau ritiene che la realizzazione dell'agi potrebbe avvenire entro 10 o 20 anni e che la velocità dell'evoluzione è ora molto elevata. simon see ritiene che per raggiungere l'agi, l'80% del processo potrà essere realizzato entro 10 anni, ma ritiene che l'ultimo 20% sarà molto impegnativo e richiederà più tempo.
(questo articolo proviene da china business news)
