notizia

sergey brin: google non ha osato utilizzare transformer e tutti gli autori sono scappati. ora scrivo codice ogni giorno

2024-09-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

rapporto sul cuore della macchina

editore: jiaqi

essendo l'attività di ricerca più grande del mondo, google è sempre stata unica nella silicon valley. gli enormi introiti pubblicitari generati dalla ricerca consentono ai due fondatori sergey brin e larry page di fare un passo indietro e godersi la vita in pace.

il 15 settembre 1997, sergey brin e larry page registrarono un sito web chiamato "google".

è stato solo alla fine del 2022 che chatgpt è diventato popolare in tutto il mondo e google, il leader originario dell’ondata di intelligenza artificiale, sembrava rendersi conto che il suo status era cambiato. nell'ultimo anno sembra che ci siamo abituati al fatto che questo gigante della tecnologia appaia come un "recupero".

dall'anno scorso, i media hanno rivelato che sergey brin è tornato in prima linea e scrive lui stesso il codice. l'ex amministratore delegato eric schmidt ha addirittura attaccato direttamente il sistema disorganizzato di "lavorare solo un giorno alla settimana" in una conferenza alla stanford university: "se perdiamo contro openai, perderemo contro le startup se continuiamo".

schmidt parla a stanford

allo stesso tempo, man mano che google diventa sempre più grande, alcuni sintomi delle "malattie delle grandi aziende" sono diventati sempre più evidenti. molti "saggi" sulle dimissioni di google mostrano che la radice dei problemi di google non è la "tecnologia" ma la "cultura". ad esempio, i dipendenti hanno una mancanza di senso della missione e l'azienda ha creato sistemi e processi ingombranti per evitare rischi.

il fondatore di appsheet, praveen seshadri, ha annunciato la sua partenza da google. sul suo blog affermava che l'azienda aveva perso la strada e che i dipendenti erano intrappolati nel sistema.

cosa c'è che non va in google? “ciò che realmente ostacola ogni giorno la produttività dei dipendenti di google è la carenza di personale, il cambiamento delle priorità, i frequenti licenziamenti, i salari stagnanti e la mancanza di follow-up da parte del management sui progetti”, ha affermato il sindacato dei lavoratori di alphabet.

anche se google sta recuperando terreno nel "chatgpt counterattack", è in qualche modo diverso dallo stile di attesa del rilascio di gpt-5 nell'area commenti di openai quando gemini viene presentato, si "ribalterà" sempre inavvertitamente. la frode della demo si è verificata quando è stata rilasciata per la prima volta. da allora, gemini ha ricevuto molte critiche per aver generato ritratti razzisti, suggerendo che tutti mangiassero un sasso al giorno e usassero la colla per attaccare il formaggio sulla pizza.

il mese scorso, google ha rilasciato una versione migliorata di gemini e ha lanciato anche gemini live, un assistente vocale basato su gpt-4o. tuttavia, durante la dimostrazione, gemini live ha continuato a funzionare male.

all'evento made by google tenutosi ad agosto, le prime due prove delle funzioni di scatto di foto e riconoscimento delle immagini di gemini live sono fallite, e solo alla terza volta che ho cambiato telefono ci sono riuscite.

perché dovremmo tornare all’avanguardia della tecnologia quando disponiamo già della libertà finanziaria? come vede google i gemelli, che spesso si sono "ribaltati"? cosa c'è che non va in google in mezzo alla concorrenza dei giganti della tecnologia? che ruolo avrà in questa competizione? all'all-in summit tenutosi ieri, sergey brin, che non appariva davanti ai media da molto tempo, ha parlato delle sue opinioni in un'intervista.

i punti principali di brin sono:

ha deciso di tornare in prima linea nella tecnologia perché i progressi nel campo dell'intelligenza artificiale erano così entusiasmanti e, come scienziato informatico, non era disposto a perdere questa ondata.

la tecnologia dell’intelligenza artificiale non è solo un’estensione della ricerca, ma toccherà una gamma più ampia di cambiamenti.

rispetto ai "modelli esperti" specializzati in un determinato campo, brin è più ottimista riguardo ai modelli generali. google ha vinto con successo la medaglia d'argento dell'imo. questo perché google ha iniziato a integrare determinate conoscenze e abilità in modelli di prova formali in un tentativo di a modello linguistico universale.

attualmente c'è una domanda costante di potenza di calcolo, ma è difficile vedere un aumento della domanda "da 100 megawatt a 1 gigawatt, 10 gigawatt o addirittura 100 gigawatt".

nel campo delle applicazioni dell'intelligenza artificiale, brin ritiene che la biologia abbia implementato relativamente bene l'applicazione della tecnologia dell'intelligenza artificiale, mentre il campo della robotica è ancora in una fase in cui le persone la trovano magica dopo aver assistito alle dimostrazioni e non ha ancora raggiunto un livello che possa essere raggiunto. utilizzati nella vita quotidiana.

sebbene l’intelligenza artificiale possa occasionalmente commettere grossi errori, dovrebbe essere rilasciata in modo tempestivo. l’intelligenza artificiale non è una tecnologia che tieni stretta al petto e nascondi finché non è perfetta. ciò che è ancora più spaventoso del fatto che l’intelligenza artificiale sia “stupida” è che all’epoca google era troppo timida per implementare transformer e tutti gli autori dell’articolo si sono dimessi.

la concorrenza tra i giganti della tecnologia nel campo dell’intelligenza artificiale è in realtà una buona cosa, ma brin presterà comunque molta attenzione alle grandi classifiche dei modelli.

quello che segue è il testo completo dell'intervista:

brin: inizialmente pensavo di essere qui solo per partecipare a un podcast, ma non mi aspettavo che ci fossero così tanti spettatori. congratulazioni per la tua carriera di successo. mi ha fatto sentire un po' timido.

moderatore: grazie per aver dedicato del tempo a chiacchierare con me. oggi l’intelligenza artificiale è al punto di svolta per cambiare il mondo. nel 1998, tu e larry page avete fondato google. ho sentito che di recente sei stato coinvolto nella ricerca sull'intelligenza artificiale presso google. i grandi modelli linguistici e gli strumenti di intelligenza artificiale conversazionale rappresentano una minaccia per la ricerca google, argomento di dibattito tra molti analisti ed esperti del settore. quindi, quanto tempo passi su google ogni giorno? cosa fai?

brin: ad essere sincero, vado a lavorare quasi tutti i giorni, ma oggi ho saltato un giorno perché dovevo comparire nel tuo programma. come scienziato informatico, non ho mai visto progressi così entusiasmanti nell’intelligenza artificiale come negli ultimi anni. il progresso dell’intelligenza artificiale è davvero scioccante!

negli anni ’90, quando ero uno studente laureato, l’intelligenza artificiale era quasi insignificante nel curriculum e non era altro che una nota a piè di pagina nei libri di testo. ciò di cui parla il libro di testo è che le persone precedenti hanno fatto vari esperimenti, ma l’intelligenza artificiale in realtà non funziona e lavorare sull’intelligenza artificiale è un “vicolo cieco”. questo è tutto ciò che devi sapere sull'intelligenza artificiale.

e poi in qualche modo, miracolosamente, queste persone che lavoravano sulle reti neurali iniziarono a fare progressi nei metodi di intelligenza artificiale che erano stati abbandonati negli anni '60 e '70: più calcoli, più dati, algoritmi più intelligenti... ciò che è successo negli ultimi dieci anni è semplicemente fantastico. gli odierni strumenti di intelligenza artificiale possono dimostrare nuove funzionalità quasi ogni mese e queste capacità possono rapidamente raddoppiare. le capacità dei computer sono davvero sorprendenti. ho deciso quindi di tornare in prima linea nella tecnologia perché non volevo perdere tutto ciò che avrei potuto sperimentare come informatico.

moderatore: pensi che l'intelligenza artificiale sia un'estensione della ricerca o ridefinirà il modo in cui le persone recuperano le informazioni?

brin: penso che l’intelligenza artificiale tocchi ogni aspetto della vita quotidiana e la ricerca è uno di questi. l’impatto dell’intelligenza artificiale è quasi ovunque, compresa la programmazione. ora ho una prospettiva diversa sulla programmazione ai. scrivere codice da zero è davvero difficile, soprattutto se paragonato alla direzione della programmazione dell'intelligenza artificiale, giusto?

presentatore: cosa hai programmato usando l'intelligenza artificiale?

brin: in effetti, scrivo io stesso un po' di codice, solo per divertimento. a volte lascio che l'ia scriva il codice per me e l'esperienza è molto interessante. ad esempio, voglio sapere quanto bene il modello ai di google riproduce il sudoku. quindi, ho chiesto al modello ai di scrivere molto codice da solo, in grado di generare automaticamente puzzle sudoku, e quindi di fornire queste domande all'ia per il punteggio. l’intelligenza artificiale è più che all’altezza del compito di scrivere questi codici.

ma quando ne ho parlato con gli ingegneri, ci sono stati molti avanti e indietro, e sono tornato mezz'ora dopo e l'intelligenza artificiale era terminata. sono rimasti colpiti ed era chiaro che non stavano utilizzando gli strumenti di intelligenza artificiale per assistere nella codifica tanto quanto pensavo.

sudoku

presentatore: è così divertente. alcuni modelli sono bravi a risolvere i puzzle sudoku, alcuni possono rispondere a informazioni reali sul mio mondo e alcuni sono specializzati nella progettazione di case. allo stesso tempo, molti ricercatori stanno lavorando allo sviluppo di modelli linguistici generali su larga scala. quale strada pensi che prenderà il futuro?

non so da dove venga questa affermazione secondo cui ci sarà un "modello di dio". questo è il motivo per cui gli investitori investono denaro nell’intelligenza artificiale. una volta sviluppato il “modello di dio”, puoi “raggiungere il mondo in un solo passaggio”. oppure ci sono tanti piccoli modelli basati su un'applicazione specifica, che collaborano in un agente. come pensi che si evolveranno lo sviluppo e l’applicazione del modello in futuro?

brin: se si guarda indietro, 10-15 anni fa, diverse tecnologie di intelligenza artificiale venivano utilizzate per risolvere problemi completamente diversi. ad esempio, l’intelligenza artificiale nel gioco degli scacchi e la tecnologia di generazione delle immagini sono molto diverse e sono molto diverse tra loro.

moderatore: proprio come google ha recentemente rilasciato un modello gnn, che funziona meglio di tutti i modelli di previsione fisica. non sono sicuro che tu lo sappia, ma è stato inviato da google.

brin: è fantastico, ma non lo so (imbarazzante).

moderatore: questo modello ha un'architettura completamente diversa.

brin: da una prospettiva storica, l’intelligenza artificiale esiste in molti sistemi diversi. prendiamo come esempio le recenti olimpiadi internazionali della matematica (imo), il modello di google ha vinto la medaglia d'argento, a solo un punto dalla medaglia d'oro (per i dettagli, fare riferimento ai precedenti rapporti di machine heart: google ai ha vinto la medaglia d'argento delle olimpiadi della matematica imo, e il suo modello di ragionamento matematico alphaproof (l'apprendimento per rinforzo è tornato).

in effetti, abbiamo utilizzato tre modelli di intelligenza artificiale: uno responsabile della dimostrazione dei teoremi, uno focalizzato sui problemi geometrici e uno è un modello linguistico generale. tuttavia, solo pochi mesi fa abbiamo iniziato a provare a imparare dal nostro lavoro precedente e a incorporare alcune delle conoscenze e delle capacità del modello di dimostrazione formale in un modello linguistico generale.

questo è un lavoro in corso, ma penso che la tendenza sarà verso la costruzione di un modello più unificato. non sono sicuro che si tratti del cosiddetto "modello di dio", ma certamente ci stiamo muovendo verso una sorta di architettura condivisa, o addirittura un modello condiviso.

moderatore: se questa è la direzione futura, allora per addestrare e migliorare quel modello molto grande, saranno inevitabilmente utilizzate enormi risorse informatiche.

brin: la potenza di calcolo è indispensabile. ho letto articoli che prevedono un aumento della domanda di potenza di calcolo, da 100 megawatt a 1 gigawatt, 10 gigawatt o addirittura 100 gigawatt. ho delle riserve a riguardo. negli ultimi anni, l’innovazione e l’ottimizzazione degli algoritmi hanno portato miglioramenti delle prestazioni più significativi rispetto all’aumento della potenza di calcolo dell’hardware.

moderatore: quindi gli attuali pesanti investimenti nella potenza di calcolo sono irragionevoli? tutti parlano degli utili, dei profitti, della capitalizzazione di mercato di nvidia. supporta la crescita dell’informatica e delle infrastrutture su vasta scala che rendono possibile costruire questi enormi modelli. ha davvero senso questa tendenza? forse ha senso, altrimenti perché nvidia guadagnerebbe così tanto?

brin: innanzitutto lasciatemi dire che non sono un economista o un analista di mercato. le mie opinioni si basano esclusivamente sulla prospettiva di un informatico. per noi, poiché stiamo affrontando una domanda enorme, stiamo costruendo cluster informatici il più velocemente possibile. ad esempio, i clienti di google cloud desiderano solo molte ppu, gpu e tutto. abbiamo dovuto allontanare i clienti perché non avevamo abbastanza carte e abbiamo fatto affidamento su queste risorse internamente per addestrare e implementare i nostri modelli. pertanto, penso che sia ragionevole che le grandi aziende espandano attivamente la propria potenza di calcolo. penso solo che sia difficile dedurre direttamente dalla situazione attuale che la futura domanda di potenza di calcolo aumenterà da "100 megawatt a 1 gigawatt, 10 gigawatt o addirittura 100 gigawatt".

presentatore: ma le esigenze aziendali ci sono.

brin: capisco che i clienti hanno una vasta gamma di esigenze. vogliono eseguire attività di inferenza su vari modelli di intelligenza artificiale e applicare questi modelli a un flusso infinito di nuovi scenari. le loro esigenze sono attualmente illimitate.

moderatore: nel campo di applicazione dell'intelligenza artificiale, sia esso la robotica o la biologia, quali aspetti ritieni abbiano ottenuto i risultati più significativi? c'è un caso d'uso che ti ha fatto pensare: "wow, è così utile"? quali aree sono più impegnative e l’implementazione delle applicazioni potrebbe richiedere più tempo del previsto?

brin: la mia risposta è la biologia. alphafold è in circolazione da un po'. è in circolazione da un po' e, quando parlo con i biologi, quasi tutti lo usano. l’ultima versione di alphafold, alphafold 3, rappresenta un nuovo tipo di tecnologia ai. come ho detto prima, credo che la tendenza futura sia l’unificazione dei modelli.

per quanto riguarda i robot, sono in una fase "wow", del tipo: "wow, il robot può davvero fare i lavori domestici!". ma devi sapere che dietro potrebbe esserci solo un modello linguistico generale perfezionato, anche se è magico. nella maggior parte dei casi, non sono ancora pronti per l'uso quotidiano.

presentatore: vedi il futuro dei robot?

brin: forse...ma non ho visto lo specifico...

presentatore: ma google non ha anche un business legato ai robot? anche se successivamente fu demolito e venduto.

brin: google era nel business dei robot.

presentatore: forse è semplicemente il momento sbagliato.

brin: francamente, probabilmente era perché stavamo andando troppo avanti. boston dynamics ha così tanti prodotti di punta, ma non riesco nemmeno a ricordare cosa abbia fatto google. ad ogni modo, abbiamo avuto cinque o sei prodotti che erano imbarazzanti, ma erano interessanti e lasciavano un'impressione duratura. vedendo quanto sia efficace l’attuale modello di linguaggio universale e come la tecnologia multimodale consenta ai robot di comprendere le scene, era ancora un po’ sciocco pensarci allora. senza queste tecnologie di intelligenza artificiale all’epoca eravamo come fermi su un tapis roulant, incapaci di andare avanti.

il piano di google per lo sviluppo di robot un tempo aveva buone carte: il "padre di android" andy rubin, il famoso produttore di robot boston dynamics, e il famoso robot umanoide atlas... tuttavia, in soli cinque anni, nel corso dell'anno, è stato prevedeva di sciogliersi e riorganizzarsi, quindi sciogliersi e riorganizzarsi di nuovo. i dirigenti senior si sono dimessi uno dopo l'altro, i piani di vendita sono stati sospesi e diverse grandi aziende si sono esaurite...

moderatore: investi molto tempo nella ricerca e nello sviluppo delle tecnologie chiave. hai dedicato notevoli sforzi anche al prodotto? in un mondo futuro in cui l’intelligenza artificiale è ovunque, come si evolverà il modo in cui si evolverà il modo in cui si evolverà l’interazione uomo-computer e come cambierà la nostra vita quotidiana?

brin: sembra un argomento per chiacchierare con i colleghi nella sala da tè.

presentatore: ti dispiace condividerlo con noi?

brin: non importa, faccio fatica a pensare a qualcosa che non sia imbarazzante.

presentatore: va bene raccontare la storia di "hai un amico".

brin: cosa accadrà in futuro è davvero difficile da dire. la tecnologia ai è la base per realizzare applicazioni. ad esempio, qualcuno ha rilasciato una demo esplosiva, che è stata particolarmente sorprendente, ma ci vuole tempo per passare dalla dimostrazione all'effettiva implementazione in produzione. non so se hai provato il modello astra, dove puoi riprodurre video dal vivo e può dire cosa sta succedendo nel tuo ambiente.

presentatore: puoi usarlo, giusto?

brin: avrò sicuramente accesso. a volte potrei essere una delle ultime persone ad avere accesso. ora abbiamo raggiunto uno stadio in cui, dopo aver sperimentato l'intelligenza artificiale, le persone potrebbero dire: "oh mio dio, è fantastico". e poi pensi: "beh, funziona il 90% delle volte. tutto funziona correttamente". ma poi potresti chiederti: "se ci sono errori o risposte lente nel 10% dei casi, questa tecnologia è davvero abbastanza buona?" quindi dobbiamo lavorare duro per migliorare questi dettagli per garantire che sia veloce e affidabile, e altro ancora. quando ciò accade realmente, è davvero un risultato straordinario.

presentatore: ho sentito una storia e dovrei raccontarti qualcosa prima di salire sul palco. prima di un evento di lancio, un gruppo di ingegneri vi ha mostrato che l'intelligenza artificiale può essere utilizzata per scrivere codice e ha detto: "non l'abbiamo ancora implementata in gemini perché vogliamo essere sicuri che non si rompa". esitazione nella cultura aziendale. all'epoca hai detto: "no, poiché può scrivere codice, dovrebbe essere lanciato molte persone mi hanno raccontato questa storia". perché credono: "è estremamente importante sentire osservazioni come questa da parte tua, il fondatore, perché dimostra che il conservatorismo non ha completamente preso il sopravvento su google e non vediamo l'ora di vedere google continuare a guidare l'innovazione. questa descrizione è accurata?" l'hai detto davvero?

brin: non ricordo i dettagli specifici. onestamente, sembra qualcosa che farei io.

moderatore: per me questo diventa un problema perché google è così grande che se commette un errore, costerà molto.

brin: allora ho ancora qualcosa di cui aver paura. il punto di partenza dell’attuale modello linguistico può essere fatto risalire al documento transformer di 6 o 8 anni fa. ma gli autori di questi articoli si sono tutti dimessi da google. congratulazioni a loro! a quel tempo eravamo troppo timidi per implementare transformer.

brin: e non importa quanto sia potente l’intelligenza artificiale, a volte commetteranno comunque errori e diranno cose imbarazzanti. ma allo stesso tempo, l’intelligenza artificiale può già aiutarci in cose che non abbiamo mai fatto prima. ad esempio, programma con i miei figli e lavoro su alcuni problemi estremamente complessi.

semplicemente consultando l'intelligenza artificiale, possono passare direttamente alla programmazione e apprendere api e strumenti complessi che normalmente richiederebbero un mese per essere apprese. questa capacità è quasi magica. dobbiamo essere pronti a commettere degli errori e a correre dei rischi. credo che la nostra risposta in questo settore sia migliorata. naturalmente, potresti aver visto molti momenti "stupidi" dell'ia, ma...

moderatore: questo è accettabile. dopotutto, hai già ricchezza e libertà, seduto su un'enorme quantità di azioni. voglio dire, sei disposto ad accettare l'imbarazzo perché è molto importante in questa fase.

brin: non lo farò a causa delle mie azioni, ok? ma pensaci, posso davvero accettare questi errori? è questa la magia che presentiamo al mondo? penso che ciò che dobbiamo trasmettere sia: "guarda, questa cosa è fantastica". l'intelligenza artificiale a volte commette grossi errori, ma penso che dovremmo rilasciarla in modo tempestivo e consentire alle persone di sperimentare e vedere quali nuove applicazioni possono trovare. l’intelligenza artificiale non è una tecnologia che tieni stretta al petto e nascondi finché non è perfetta.

presentatore: pensi che l'intelligenza artificiale avrà un impatto così profondo sul mondo e creerà così tanto valore che non sarà più una semplice competizione tra google, meta e amazon? tutti la considerano una guerra commerciale, ma è possibile? la torta fatta dall'intelligenza artificiale è così grande e i campi che stai esplorando sono così ampi che va ben oltre chi ha costruito il modello con il punteggio più alto e di chi è la performance llm migliore. come vedi le ampie prospettive offerte dall'intelligenza artificiale e quale ruolo svolgerà google in essa?

brin: penso che la competizione sia molto utile in un certo senso perché tutti i grandi player tecnologici sono in competizione, e comunque, in alcune classifiche di qualche settimana fa, google era il numero uno, e l'ultima volta che ho controllato, battevamo ancora il modello di punta. soltanto......

moderatore: ci sono diversi indicatori negativi. quindi ti interessano le valutazioni dei modelli!

brin: non ho detto che non mi importava. google era davvero in ritardo quando è uscito chatgpt, e ora abbiamo fatto molta strada. sono molto soddisfatto di tutti i progressi che google sta facendo in questo momento. quindi terremo sicuramente d'occhio la classifica dei modelli. penso che sia positivo che esistano così tante aziende di intelligenza artificiale, che si tratti di openai, anthropic o mistral, ciò significa che il campo dell’intelligenza artificiale è in rapida espansione e pieno di vitalità.

alla tua domanda, penso che l’intelligenza artificiale abbia un enorme valore per gli esseri umani. se ripensi ai tempi del college, non esisteva internet come lo conosciamo oggi e ottenere informazioni di base e comunicare con le persone richiedeva uno sforzo enorme. prima della popolarità dei telefoni cellulari, avevamo ottenuto enormi miglioramenti nelle capacità in tutto il mondo, e la tecnologia ai di oggi rappresenta senza dubbio un altro grande passo avanti in termini di capacità. ora quasi tutti hanno accesso in qualche modo all’intelligenza artificiale. penso che sia molto emozionante, è fantastico.