notizia

Testo: Web3 Sky City·City Lord

In quest'ultima intervista in classe a Stanford, l'ex CEO di Google Eric Schmidt discute in modo approfondito la direzione di sviluppo dell'intelligenza artificiale, il futuro della competizione tecnologica globale e il modo in cui queste tecnologie influenzeranno la società e l'economia a breve termine e avranno un profondo impatto sicurezza nazionale.SchmidtHa ripercorso la sua esperienza pluriennale nel settore tecnologico, ha condiviso le sue previsioni sui progressi compiuti dalla tecnologia dell'intelligenza artificiale nei prossimi anni e ha discusso di come questi progressi modelleranno il panorama competitivo tra aziende e paesi, in particolare nella competizione tra gli Stati Uniti. e Cina.

SchmidtParticolare enfasi viene posta sui fattori complessi alla base del progresso tecnologico, come il miglioramento della potenza di calcolo, lo sviluppo di nuovi algoritmi e la ricerca infinita da parte del mercato di sistemi intelligenti. Discute inoltre del potenziale impatto dell’intelligenza artificiale sui mercati del lavoro, sulla privacy dei dati, sull’antitrust e sulla sicurezza nazionale e offre raccomandazioni su come mantenere un vantaggio competitivo in questo ambiente in rapida evoluzione.

Il proprietario della città ha specificamente sottolineato che, in quanto Schmidt, che ha servito il Dipartimento della Difesa degli Stati Uniti per molto tempo, il suo discorso e la sua posizione devono essere distinti, e credo che i lettori saranno in grado di capirlo da soli.

Scoperte a breve termine e impatti di vasta portata dell’intelligenza artificiale：

SchmidtSi prevede che nei prossimi uno o due anni l’intelligenza artificiale introdurrà importanti scoperte, soprattutto nella combinazione di espansione della finestra di contesto, agenti AI e text-to-operazione. Questi progressi tecnologici consentiranno ai sistemi di intelligenza artificiale di gestire compiti complessi in modo più efficiente, oltre i limiti attuali. Questo tipo di progresso non si limiterà al campo tecnico, ma influenzerà profondamente tutti gli aspetti della società, compresi l’istruzione, l’assistenza sanitaria, il governo e le imprese. Ha sottolineato che lo sviluppo di queste tecnologie potrebbe avere un impatto trasformativo che potrebbe essere addirittura più profondo dell’ascesa dei social media.

Il gioco tra Cina e Stati Uniti nella competizione scientifica e tecnologica globale：

SchmidtUn'analisi dettagliata dell'agguerrita concorrenza tra Stati Uniti e Cina nel campo dell'intelligenza artificiale. Ha sottolineato che gli Stati Uniti sono attualmente leader in tecnologia, talento e risorse, ma per mantenere questo vantaggio sono necessari continui investimenti elevati e cooperazione internazionale, in particolare la cooperazione con alleati come il Canada, per garantire l’approvvigionamento sostenibile di energia e risorse. Ha sottolineato che il futuro dell’intelligenza artificiale non è solo una competizione tecnica, ma anche un gioco strategico tra paesi, che coinvolge la sicurezza nazionale, la competitività economica e la leadership globale. Schmidt ha avvertito che gli Stati Uniti devono aumentare gli investimenti per far fronte alla rapida ascesa della Cina nel campo dell’intelligenza artificiale e mantenere il proprio dominio globale in questo campo.

Monopolio e sfide dell’innovazione dei giganti della tecnologia：

Quando si parla dell’attuale dominio dei giganti della tecnologia,SchmidtVa sottolineato che la posizione di monopolio di aziende come NVIDIA nel campo dell’intelligenza artificiale beneficia delle loro forti capacità tecniche e dei vantaggi in termini di capitale. Ha affermato che, sebbene esistano concorrenti sul mercato, sfidare lo status di questi giganti della tecnologia richiede ingenti investimenti e innovazione tecnologica. Ha inoltre espresso preoccupazione su come questi giganti continueranno a promuovere l'innovazione tecnologica in futuro, ritenendo che lo sviluppo dell'intelligenza artificiale ad alta intensità di capitale possa portare a cambiamenti fondamentali nel modello di sviluppo del software, da open source a closed source, consolidando così ulteriormente il monopolio dei giganti.

L’impatto dell’intelligenza artificiale sulla società e sul mercato del lavoro：

SchmidtViene esplorato il potenziale impatto dell’intelligenza artificiale sulla società, sull’economia e sul mercato del lavoro. Egli ritiene che, sebbene la tecnologia dell’intelligenza artificiale possa sostituire alcuni compiti ripetitivi, aumenterà anche l’importanza dei lavori altamente qualificati e promuoverà la produttività delle persone in compiti complessi. Ha anche espresso preoccupazione per la disuguaglianza sociale che l’intelligenza artificiale potrebbe portare, sottolineando che i paesi ricchi trarranno maggiori benefici dall’intelligenza artificiale, mentre i paesi poveri potrebbero essere lasciati indietro. Anche,SchmidtChiede una regolamentazione più rigorosa dell’IA per affrontare questioni quali la privacy dei dati, i diritti di proprietà intellettuale e la diffusione della disinformazione.

IA contraddittoria e sfide alla sicurezza：

SchmidtUna menzione speciale è stata fatta alla potenziale minaccia dell’intelligenza artificiale avversaria, prevedendo che in futuro potrebbero esserci sistemi di intelligenza artificiale appositamente progettati utilizzati per attaccare e distruggere altri sistemi di intelligenza artificiale. Questo sviluppo porterà nuove sfide etiche e di sicurezza.SchmidtSi raccomanda che la comunità scientifica e tecnologica e il governo cooperino per studiare come prevenire questi rischi e formulare regolamenti e standard tecnici corrispondenti per garantire la sicurezza e la credibilità dell’intelligenza artificiale. Egli ha anche affermato che la ricerca in questo campo diventerà una direzione importante per il futuro sviluppo scientifico e tecnologico e potrebbe ricevere maggiore attenzione da parte delle università e degli istituti di ricerca.

L'ex CEO di Google parla di concorrenza globale nell'intelligenza artificiale: i chip statunitensi hanno 10 anni di vantaggio tecnologico e la Cina è il concorrente più importante

=Web3 Sky City versione compilata con testo completo=

Professore ospitante:

L’ospite di oggi non ha bisogno di presentazioni. Ho incontrato Eric per la prima volta circa 25 anni fa, quando arrivò alla Stanford GSB come CEO di Novell. Da allora, ha ricoperto posizioni chiave presso Google, a partire dal 2001, per poi unirsi a Schmidt Futures nel 2017. Inoltre, ha partecipato anche a molti altri progetti e puoi controllare le informazioni pertinenti. Quindi Eric, se posso, inizierò con quello.

Innanzitutto, dove crede che andrà l’intelligenza artificiale nel breve termine? Penso che tu lo definisca come i prossimi uno o due anni.

Schmidt:

Le cose stanno cambiando così velocemente che ho la sensazione che ogni sei mesi debba tenere un nuovo discorso su ciò che accadrà. Ho un gruppo di studenti di informatica qui, qualcuno può spiegare al resto della classe "un milionegettoneChe cos'è la "Finestra di contesto" Per favore, dagli un nome e dicci cosa fa.

studente:Fondamentalmente, ti consente di utilizzare un milione di marcatori o un milioneLe parole suggeriscono.

Schmidt:

Quindi puoi fare una domanda da un milione di parole. Anthropic è di 200.000 token, fino a 1 milione e così via. puoi immaginareIA apertaAvere un obiettivo simile.

Qualcuno qui può dare una definizione tecnica di agente AI? Ancora una volta, informatica.

studente:Un agente AI può essere qualcosa che si comporta in un certo modo. Potrebbe chiamare qualcosa sul Web per trovare informazioni per tuo conto. Potrebbero essere molte cose diverse in questo senso. Ci sono tutti i tipi di cose che accadono in un processo.

Schmidt:Quindi un agente è qualcosa che svolge un qualche tipo di compito. Un'altra definizione è che è aLaurea Magistrale in Giurisprudenza, stato e memoria. Poi, scienziati informatici, qualcuno di voi può definire "testo in azione"?

studente:Invece di convertire il testo in altro testo, lascia che l’IA attivi azioni basate su questo.

Schmidt:

Un'altra definizione è linguaggio Python. Non voglio mai vedere un linguaggio di programmazione sopravvivere. Tutto nell'intelligenza artificiale è fatto in Python. È appena emerso un nuovo linguaggio chiamato Mojo, e sembra che abbiano finalmente risolto il problema della programmazione dell'intelligenza artificiale, ma vedremo se riuscirà effettivamente a sopravvivere al dominio di Python.

C'è anche una questione tecnica. Perché NVIDIA vale 2 trilioni di dollari mentre altre aziende sono in difficoltà?

studente:La risposta tecnica è che la maggior parte del codice deve essere eseguito utilizzando le ottimizzazioni CUDA che attualmente sono supportate solo dalle GPU NVIDIA, quindi altre aziende possono fare quello che vogliono, ma non avrai l'apprendimento automatico a meno che non abbiano 10 anni di esperienza nell'ottimizzazione del software.

Schmidt:

Mi piace pensare a CUDA come a un linguaggio di programmazione C per GPU e mi sento a mio agio con questa idea. CUDA è stata fondata nel 2008. Anche se ho sempre pensato che fosse un linguaggio volgare, ora ha preso il sopravvento. Un'altra intuizione degna di nota: esiste una serie di librerie open source altamente ottimizzate per CUDA che nessun'altra libreria lo è. Tutte le persone che costruiscono questi stack tecnologici mancano completamente questo punto della discussione. Queste librerie sono tecnicamente chiamate VLLM e esistono molte librerie simili che sono anche altamente ottimizzate per CUDA, rendendole difficili da copiare per i concorrenti.

Allora cosa significa tutto questo? L'anno prossimo vedrai finestre di contesto, agenti e applicazioni text-to-action molto grandi. Quando queste tecnologie saranno diffuse su larga scala, avranno un enorme impatto sul mondo, ben oltre l’impatto dei social media. Ecco perché: nella finestra di contesto, puoi usarla come memoria a breve termine e sono rimasto scioccato da quanto fosse lunga la finestra di contesto. Le ragioni tecniche hanno a che fare con il servizio e la difficoltà computazionale. La cosa interessante della memoria a breve termine è che quando inserisci informazioni e fai una domanda, diciamo leggi 20 libri e usi il testo dei libri come query e poi chiedi di cosa parlano, si dimentica la parte centrale, in modo simile a come il cervello umano funziona.

Per quanto riguarda gli agenti, ora ci sono persone che stanno costruendo agenti LLM leggendo e comprendendo cose in aree come la chimica, quindi testandole e aggiungendole nuovamente alla loro comprensione. Questo è molto potente. Il terzo aspetto è il text-to-action. Lascia che ti faccia un esempio: diciamo che il governo sta cercando di vietare TikTok. Se TikTok è vietato, ti suggerisco di dire quanto segue al tuo LLM: copia TikTok per me, inserisci le mie preferenze, crea questa app e pubblicala entro i prossimi 30 secondi ed entro un'ora, se non ha preso piede , fai semplicemente qualcosa del genere. Questo è l'ordine. Puoi vedere quanto è potente.

Se riesci a tradurre da qualsiasi lingua a qualsiasi comando numerico, in questo scenario è essenzialmente Python. Immagina che tutti sul pianeta abbiano i propri programmatori che fanno effettivamente quello che vogliono fare, al contrario di programmatori che non lavorano come richiesto. I programmatori qui sanno di cosa sto parlando. Immagina un programmatore non arrogante che fa davvero quello che vuoi senza che tu debba pagare un prezzo elevato. E la fornitura di questi programmatori è illimitata.

professore:Tutto questo accadrà nel prossimo anno o due?

Schmidt:

Presto. Sono sicuro che le tre cose di cui sopra accadranno simultaneamente nella prossima ondata. Quindi ti chiedi cos'altro succederà. Fluttuo ogni sei mesi, quindi siamo in un'oscillazione pari-dispari. Al momento, il divario tra i modelli di punta (ce ne sono solo tre) e gli altri sembra aumentare. Sei mesi fa ero convinto che il divario si stesse riducendo, quindi ho investito molto in alcune aziende più piccole. Tuttavia, ora non ne sono più così sicuro.

Sto conversando con alcune grandi aziende e mi dicono che hanno bisogno di 10 miliardi di dollari, 20 miliardi di dollari, 50 miliardi di dollari, persino 100 miliardi di dollari. Il progetto Stargate richiede 100 miliardi di dollari ed è molto difficile. Il mio buon amico Sam Altman pensa che potrebbero volerci circa 300 miliardi di dollari, forse di più. Gli ho fatto notare che avevo calcolato l'energia necessaria.

Nell’interesse di una completa trasparenza, venerdì sono andato alla Casa Bianca e ho detto loro che dobbiamo essere i migliori amici del Canada. Perché i canadesi sono persone davvero gentili, hanno contribuito a inventare l’intelligenza artificiale e hanno molta energia idroelettrica. Perché noi come Paese non abbiamo abbastanza potere per raggiungere questo obiettivo. Un’altra opzione è che i paesi arabi finanzino il progetto. Personalmente mi piacciono gli arabi e trascorro molto tempo lì, ma potrebbero non seguire le nostre regole di sicurezza nazionale. E il Canada e gli Stati Uniti sono uno dei tre grandi paesi su cui siamo tutti d’accordo.

Quindi, in questi data center, che valgono dai 100 ai 300 miliardi di dollari, l’energia sta iniziando a diventare una risorsa scarsa.

A proposito, se seguendo questo ragionamento, potresti chiederti perché sto parlando di CUDA e NVIDIA? Se tutti i 300 miliardi di dollari andassero a NVIDIA, sapresti cosa fare nel mercato azionario. Tuttavia, questa non è una raccomandazione azionaria e non sono un concessore di licenza.

professore:

In parte perché avremo bisogno di più chip, ma Intel riceve molti soldi dal governo degli Stati Uniti. AMD sta cercando di costruire una fabbrica in Corea del Sud.

Schmidt:

Alzi la mano chi ha un chip Intel in uno qualsiasi dei suoi dispositivi informatici. Questo per quanto riguarda il monopolio.

professore:

Ma questo è il punto. Una volta avevano il monopolio e ora lo ha NVIDIA. Quindi queste sono barriere all’ingresso?

A proposito di CUDA, ci sono altre opzioni? Stavo parlando con Percy Lange l'altro giorno. Passa dai TPU ai chip NVIDIA, a seconda di ciò a cui ha accesso. Questo perché non ha scelta.

Schmidt:

Se avesse fondi illimitati, oggi sceglierebbe l'architettura B200 di NVIDIA perché è più veloce. Non lo sto suggerendo: la concorrenza è una buona cosa.

Ho avuto una lunga conversazione con Lisa Su di AMD. Hanno creato qualcosa in grado di convertire l'architettura CUDA nella propria, chiamato Rokam. Non è ancora completamente funzionante, ma ci stanno lavorando.

professore:

Hai lavorato a lungo in Google e loro hanno inventatoTrasformatorearchitettura. Grazie alle persone fantastiche laggiù, come Peter, Jeff Dean e tutti gli altri. Allo stato attuale, OpenAI sembra aver perso l’iniziativa. Nelle ultime classifiche che ho visto, Claude di Anthropic è in cima alla lista. Ho chiesto a Sundar, ma non mi ha dato una risposta molto chiara. Forse hai una spiegazione più mirata o obiettiva di cosa sta succedendo lì.

Schmidt:

Non sono più un dipendente di Google. L’attenzione di Google sull’equilibrio tra lavoro e vita privata riguarda più il lasciare che i dipendenti tornino a casa presto e lavorino da casa, piuttosto che perseguire ciecamente la vittoria. Al contrario, le startup hanno successo perché i loro dipendenti lavorano duro. Anche se può sembrare un po' brusco, la realtà è che se stai avviando un'azienda dopo il college e vuoi competere con altre startup, non puoi avere dipendenti che arrivano solo un giorno alla settimana.

L'ex CEO di Google si è lamentato pubblicamente del fatto che i dipendenti "non lavorano abbastanza" ed è rimasto indietro nella competizione sull'intelligenza artificiale perché "vengono solo un giorno alla settimana" e tra l'altro ha anche bloccato TikTok.

professore:Agli albori di Google, lo stesso valeva per Microsoft.

Schmidt:

Sembra ora che nel nostro settore, per troppo tempo, le aziende abbiano sempre vinto essendo veramente creative e dominando uno spazio, piuttosto che realizzando la trasformazione successiva. Questo è ben documentato. Penso che i fondatori siano speciali e debbano avere il controllo, anche se può essere difficile lavorare con loro perché esercitano molta pressione sui propri dipendenti. Per quanto non ci piacciano le azioni personali di Elon, guarda cosa ottiene dai suoi dipendenti. Ho cenato con lui una volta e stava volando. Ero nel Montana e lui era su un volo alle 10 quella sera per un incontro di mezzanotte con x.ai. Pensaci.

Luoghi diversi hanno culture diverse. Sono impressionato da TSMC. Avevano una regola secondo cui gli studenti appena laureati, bravi fisici, dovevano lavorare nel seminterrato della fabbrica. Riesci a immaginare che un dottorato americano in fisica faccia questo? Non è probabile. È un’etica del lavoro diversa.

Il rigore con cui lavoro è dovuto al fatto che questi sistemi hanno effetti di rete, quindi il tempo è essenziale. E nella maggior parte delle aziende, il tempo non è così importante, ne hai in abbondanza. Coca-Cola e Pepsi-Cola esisteranno ancora, la competizione tra loro continuerà e tutto sarà ghiacciato. Quando ho a che fare con le società di telecomunicazioni, la firma di un accordo tipico richiede 18 mesi. Non c’è motivo di impiegare 18 mesi per fare qualcosa, dovrebbe essere fatto il più rapidamente possibile. Siamo in un periodo di crescita e massimizzazione dei ricavi, ma richiede anche idee folli.

Ad esempio, quando Microsoft ha stretto un accordo con OpenAI, ho pensato che fosse l'idea più stupida che avessi mai sentito. Esternalizzare la tua leadership nell'intelligenza artificiale a OpenAI, Sam e il suo team? Questo è pazzesco. Nessuno in Microsoft o altrove lo fa. Oggi, tuttavia, stanno diventando le aziende di maggior valore, sicuramente in una posizione di parità con Apple. Apple non ha una buona soluzione di intelligenza artificiale, ma sembra che l'abbia fatta funzionare.

studente:

In che modo l’intelligenza artificiale svolgerà un ruolo in termini di sicurezza nazionale o interessi geopolitici, soprattutto nella concorrenza con la Cina?

Schmidt:

Come presidente di un comitato sull’intelligenza artificiale, ho studiato questo aspetto in modo approfondito. Abbiamo scritto un rapporto di circa 752 pagine e lo abbiamo riassunto così: Attualmente siamo in una posizione di leadership e dobbiamo mantenere questo vantaggio, che richiede un notevole sostegno finanziario. I nostri principali clienti sono il Senato e la Camera dei Rappresentanti, il che ha portato all’introduzione del CHIPS Act e di altre politiche simili.

Se i modelli all’avanguardia e alcuni modelli open source continueranno a svilupparsi, solo poche aziende potrebbero essere in grado di competere in questo campo. Quali paesi hanno tali capacità? Questi paesi devono essere ben finanziati, dotati di talento, con sistemi educativi forti e la volontà di vincere. Gli Stati Uniti e la Cina sono due dei principali paesi. Per quanto riguarda la possibilità che altri paesi partecipino, non ne sono sicuro. Ma quello che è certo è che in futuro la competizione tra Stati Uniti e Cina per l’egemonia intellettuale sarà una battaglia importante.

Il governo degli Stati Uniti ha sostanzialmente vietato l'esportazione di chip NVIDIA in Cina, anche se non lo ammetterà pubblicamente. Abbiamo circa 10 anni di vantaggi tecnologici nei chip sub-DUV, che sono chip inferiori a 5 nanometri. Questo vantaggio ci pone diversi anni avanti rispetto alla Cina, con grande dispiacere di quest’ultima. Questa politica è stata sviluppata dall’amministrazione Trump e sostenuta dall’amministrazione Biden.

professore:Il Congresso ascolterà il tuo consiglio e farà massicci investimenti? Ovviamente il CHIPS Act ne è un esempio.

Schmidt:

Inoltre, dobbiamo anche costruire un enorme sistema di intelligenza artificiale. Dirigo un gruppo informale, ad hoc e non legale di addetti ai lavori comuni del settore. L’anno scorso, questi membri hanno sostenuto quella che è diventata la legge sull’intelligenza artificiale dell’amministrazione Biden, la direttiva presidenziale più lunga della storia.

Una volta abbiamo discusso una questione fondamentale: come rilevare i pericoli in un sistema che ha imparato ma non sai cosa chiedere? In altre parole, il sistema potrebbe aver imparato qualcosa di brutto, ma non sai come chiederlo. Ad esempio, potrebbe aver imparato a mescolare le sostanze chimiche in un modo nuovo, ma tu non sai come chiederglielo. Per risolvere questo problema, la nostra nota al governo raccomanda di fissare una soglia che chiamiamo 10 alla 26a potenza, che è una misura di calcolo tecnico. Al di sopra di questa soglia, le imprese devono denunciare le proprie attività al governo. Per garantire che siano diversi, l’Unione Europea fissa 10 alla 25a potenza come 10. Ma questi numeri sono abbastanza vicini. Penso che tutte queste distinzioni scompariranno perché la tecnologia esistente diventerà obsoleta. Il termine tecnico si chiama formazione congiunta, che in pratica significa che i pezzi possono essere uniti insieme. Quindi potremmo non essere in grado di proteggere le persone da queste novità.

professore:

Si dice che OpenAI debba essere addestrato in questo modo, in parte a causa di problemi di consumo energetico. Non c'è posto dove lo facciano.

Parliamo di una vera guerra in corso. So che sei stato attivamente coinvolto nella guerra in Ucraina, in particolare per quanto riguarda il programma Cicogna Bianca e il tuo obiettivo di distruggere carri armati per un valore di 5 milioni di dollari con droni per un valore di 500 dollari. In che modo questo cambia la guerra?

Schmidt:

Ho lavorato per il Segretario alla Difesa per sette anni, cercando di cambiare il modo in cui gestivamo le nostre forze armate. Non amo particolarmente l'esercito, ma è molto costoso e volevo vedere se potevo aiutare. Penso di aver sostanzialmente fallito. Mi hanno dato una medaglia, quindi probabilmente danno medaglie ai perdenti o altro. Ma la mia autocritica è che nulla è realmente cambiato e il sistema americano non porta a una vera innovazione.

Così ho deciso di avviare un'azienda con il tuo amico Sebastian Thrun (che era un membro della facoltà qui) e un gruppo di persone di Stanford. L’idea è fondamentalmente quella di fare due cose: utilizzare l’intelligenza artificiale in modi complessi e potenti in quelle che sono essenzialmente guerre di robot e la seconda cosa è ridurre il costo dei robot; Ora potresti pensare, perché un buon liberale come me dovrebbe fare questo? La risposta è che l’intera teoria militare è costituita da carri armati, artiglieria e mortai, e noi possiamo distruggerli. Possiamo rendere sostanzialmente impossibile la punizione dell’invasione di un paese (almeno via terra). Dovrebbe eliminare questo tipo di guerra terrestre.

professore:

Questa è una domanda molto interessante. Dà alla difesa un vantaggio sull’attacco? Puoi notare la differenza?

Schmidt:

Poiché ho fatto questo nell'ultimo anno, ho imparato molto sulla guerra che in realtà non volevo sapere. Una cosa che devi sapere sulla guerra è che l’attacco ha sempre un vantaggio perché puoi sempre sopraffare il sistema di difesa. Quindi, dal punto di vista della strategia di difesa, è meglio avere un attacco molto forte da poter utilizzare quando necessario. Il sistema che io e altri stiamo costruendo farà proprio questo. Grazie al modo in cui funziona il sistema, ora sono un trafficante d'armi autorizzato. Quindi sono un informatico, un uomo d'affari, un trafficante d'armi. Mi dispiace dirlo. È questo un progresso? Non ne ho idea. Non consiglio di farlo nella tua carriera. Resterò fedele all'intelligenza artificiale. Per come funziona la legge, lo facciamo privatamente, con il sostegno del governo, ed è tutto legale. Va direttamente in Ucraina e poi iniziano a combattere. Senza entrare nei dettagli, la situazione è piuttosto grave. Penso che a maggio o giugno, se i russi costruiranno come previsto, l’Ucraina perderà gran parte del territorio perdendo l’intero paese. La situazione è piuttosto brutta. Se conosci Marjorie Taylor Greene, ti suggerisco di eliminarla dalla tua lista dei contatti. Perché è lei che ha impedito che miliardi di dollari venissero spesi per salvare un'importante democrazia.

professore:

Successivamente, voglio discutere una questione un po’ filosofica. L'anno scorso sei stato coautore di un articolo insieme a Henry Kissinger e Dan Huttenloch sulla natura della conoscenza e su come si sviluppa. Ho parlato anche io di questo argomento qualche sera fa. Per gran parte della storia, la comprensione dell'universo da parte dell'umanità è stata misteriosa, fino all'avvento della Rivoluzione scientifica e dell'Illuminismo. Nel tuo articolo dici che i modelli odierni sono diventati così complessi e difficili da capire che non sappiamo davvero cosa succede al loro interno. Cito Richard Feynman: “Ciò che non posso creare, non lo capisco”. Ma ora le persone creano ciò che possono senza comprenderne veramente il funzionamento interno. La natura della conoscenza è cambiata in qualche modo? Dobbiamo iniziare ad accettare questi modelli per oro colato, cosa che non riescono a spiegarci?

Schmidt:

Vorrei fare l'esempio di un adolescente. Se hai un adolescente, sai che sono umani, ma non riesci a capire cosa stanno pensando. Tuttavia, noi come società siamo riusciti ad adattarci all’esistenza degli adolescenti e alla fine ne usciranno. Questa è una domanda seria. Quindi potremmo avere sistemi di conoscenza che non possiamo descrivere completamente, ma ne comprendiamo i confini e i limiti di ciò che possono fare, e questo è probabilmente il meglio che possiamo ottenere. Pensi che comprenderemo queste limitazioni? Se riusciamo a farlo, è fantastico.

Il consenso nelle riunioni settimanali del mio gruppo è che alla fine ci sarà la cosiddetta IA contraddittoria, dove ci saranno effettivamente aziende che assumeranno e ti pagheranno per rompere il tuo sistema di IA. Proprio come la squadra rossa. A differenza delle squadre rosse umane di oggi, ci saranno intere aziende e interi settori di sistemi di intelligenza artificiale il cui compito sarà quello di interrompere i sistemi di intelligenza artificiale esistenti e trovare in essi le vulnerabilità, specialmente quelle che non riusciamo a capire. Questo ha senso per me. È anche un ottimo programma per Stanford. Se hai uno studente laureato che deve capire come attaccare uno di questi grandi modelli e capire cosa fa, questa sarà un'abilità importante per costruire la prossima generazione. Quindi ha senso combinare i due.

professore:

Ora rispondiamo ad alcune domande degli studenti. C'è un compagno di classe dietro di me, per favore di' il tuo nome.

studente:

Hai menzionato prima, e questo si collega ai commenti ora, di far sì che l'intelligenza artificiale faccia effettivamente quello che vuoi che faccia. Hai appena menzionato l'intelligenza artificiale avversaria e mi chiedevo se potessi approfondire l'argomento in modo più dettagliato. Sembra che, a parte l'ovvio aumento della potenza di calcolo, si possano ottenere modelli più performanti, ma la questione di fargli fare quello che si vuole, sembra essere parzialmente senza risposta.

Schmidt:

Bene, devi presumere che l’attuale problema delle allucinazioni diminuirà, man mano che la tecnologia migliorerà e così via. Non sto dicendo che se ne andrà. E poi devi anche presumere che esista un test di efficacia, quindi deve esserci un modo per sapere se questa cosa ha avuto successo. Nell'esempio che ho citato di un concorrente di TikTok, non sto suggerendo di rubare illegalmente la musica di altre persone. Cosa faresti se fossi un imprenditore nella Silicon Valley? Spero che siate tutti imprenditori della Silicon Valley. Se il tuo prodotto ha successo, assumerai un esercito di avvocati per gestire le conseguenze. Ma se nessuno usa il tuo prodotto, non avrà importanza se rubi tutto. Ovviamente non citarmi su questo.

La Silicon Valley in genere conduce questi test e gestisce le domande di follow-up. Questa è una pratica comune. Penso che vedrete sempre più sistemi di performance e test ancora migliori ed eventualmente test contraddittori, che lo manterranno all'interno di una struttura. Questo termine professionale è chiamato ragionamento a catena di pensiero. Si ritiene che entro i prossimi anni si sarà in grado di generare una catena di ragionamenti in mille passi, proprio come quando si prepara una ricetta. Puoi eseguirlo e testare effettivamente che produca i risultati corretti, ecco come funziona il sistema.

studente:

Nel complesso, sei molto ottimista riguardo al potenziale di progressi nell'intelligenza artificiale. Sono curioso, cosa sta guidando questo progresso? C'è più potenza di calcolo? Sono più dati? È un cambiamento fondamentale o reale?

Schmidt:

La risposta è tutta quanto sopra. La quantità di denaro investito è incredibile. Praticamente ho investito tutto perché non avevo idea di chi avrebbe vinto e la quantità di denaro che stavo seguendo era davvero enorme. Parte del motivo è che sono stati fatti soldi in anticipo e coloro che non ne sanno molto devono avere la componente AI. Tutto sta investendo nell’intelligenza artificiale ora e non riescono a notare la differenza.

Definisco l’intelligenza artificiale come un sistema di apprendimento, un sistema che impara veramente. Penso che questo sia uno di questi. Il secondo punto è che ora ci sono alcuni nuovi algoritmi molto complessi che sono un po’ come quelli post-Transformer. Un mio amico, anch'egli collaboratore di lunga data, ha inventato una nuova architettura non Transformer. Un gruppo da me finanziato a Parigi affermava di aver fatto la stessa cosa. Ci sono molte invenzioni là fuori e c'è molta ricerca a Stanford. Il punto finale è che il mercato crede che le invenzioni intelligenti abbiano rendimenti illimitati. Diciamo che metti 50 miliardi di dollari in un'azienda, devi guadagnare un sacco di soldi dall'intelligence per ripagarli. Potremmo avere un’enorme bolla di investimento e poi si risolverebbe da sola. È sempre stato così e forse lo sarà anche adesso.

professore:Prima hai menzionato che i leader stanno creando distanza dagli altri.

Schmidt:

Ora, c'è un'azienda in Francia chiamata Mistral, e sta facendo un ottimo lavoro. Sono ovviamente un investitore. Hanno già realizzato una seconda versione e probabilmente il terzo modello verrà chiuso perché troppo costoso. Hanno bisogno di entrate e non possono regalare il loro modello gratuitamente. Il dibattito tra open source e closed source infuria nel nostro settore. Tutta la mia carriera è stata costruita sulla volontà delle persone di condividere software in modo open source. Tutto quello che faccio è basato sull'open source. Anche gran parte delle fondamenta di Google si basa sull'open source. Il lavoro che svolgo è prevalentemente in ambito tecnico. Tuttavia, gli enormi costi di capitale potrebbero cambiare radicalmente il modo in cui viene costruito il software.

La mia opinione sui programmatori di software è che la loro produttività almeno raddoppierebbe. Ci sono tre o quattro società di software che stanno attualmente tentando di farlo e durante questo periodo ho investito in tutte. Stanno tutti cercando di rendere i programmatori di software più produttivi. Recentemente mi sono imbattuto in un'azienda molto interessante chiamata Augment. Penso spesso ai programmatori che dicono che questo non è l'obiettivo. Il nostro obiettivo sono quei team di programmazione software di 100 persone con milioni di righe di codice e nessuno sa cosa sta succedendo. Questa è un'ottima applicazione dell'intelligenza artificiale. Guadagneranno soldi? Lo spero, ma qui ci sono molti problemi.

studente:

All'inizio hai detto che la combinazione di estensioni della finestra di contesto, proxy e azioni di testo avrebbe avuto un impatto incredibile. Innanzitutto, perché questa combinazione è importante? In secondo luogo, so che non sei un profeta e non puoi predire il futuro, ma perché pensi che sia oltre la nostra immaginazione?

Schmidt:

Penso principalmente perché le finestre di contesto ti consentono di risolvere i problemi di recency. I modelli attuali richiedono circa 18 mesi per l'addestramento, inclusi sei mesi di preparazione, sei mesi di addestramento e sei mesi di messa a punto, quindi sono sempre obsoleti. E con la finestra contestuale, puoi digitare gli ultimi avvenimenti e porre domande sulla guerra Hamas-Israele nel contesto, il che è molto potente e lo rende aggiornato quanto Google.

Nel caso dell’agenzia, posso farti un esempio. Ho fondato una fondazione per fornire finanziamenti a un'organizzazione senza scopo di lucro. Non ne so molto di chimica, ma esiste uno strumento chiamato ChatCrow, che è un sistema basato su grandi modelli linguistici in grado di apprendere la chimica. Fanno funzionare il sistema per generare ipotesi chimiche sulle proteine, poi il laboratorio le testa durante la notte e il sistema impara. Si tratta di un enorme acceleratore per campi come la chimica e la scienza dei materiali. Questo è un modello di agenzia.

Penso che se solo ci fossero molti programmatori economici, il concetto di text-to-action potrebbe essere compreso. Non credo che capiamo cosa succede quando ognuno ha il proprio programmatore. Questa è anche la tua area di competenza. Non sto parlando di compiti semplici come accendere e spegnere le luci. Immagino un altro esempio, diciamo che non ti piace Google, potresti dire, creami un concorrente di Google. Sì, puoi farlo personalmente. Costruiscimi un concorrente di Google che effettui ricerche sul Web, crei l'interfaccia utente, crei un buon testo e lo aggiunga in modo interessanteintelligenza artificiale generativa. Fallo entro 30 secondi e vedi se funziona. Molti credono che gli operatori storici, incluso Google, siano vulnerabili a tali attacchi.

professore:

Ora diamo un'occhiata. Slido ha inviato molte domande, alcune delle quali sono state caricate. L’anno scorso abbiamo discusso di come impedire all’intelligenza artificiale di influenzare l’opinione pubblica e diffondere disinformazione, soprattutto durante le prossime elezioni.

Schmidt:

Dobbiamo pensare a soluzioni sia a breve che a lungo termine. Nelle prossime elezioni globali, la maggior parte della disinformazione apparirà sui social media e le attuali capacità organizzative delle società di social media non sono sufficienti per controllare efficacemente queste informazioni. TikTok, ad esempio, è stato accusato di favorire un certo tipo di disinformazione, anche se non ho prove. Penso che siamo nei guai.

Il Paese ha bisogno di apprendere il pensiero critico, il che potrebbe rappresentare una sfida difficile per gli Stati Uniti. Solo perché qualcuno ti dice qualcosa non significa che sia vero.

professore:

Siamo arrivati ​​al punto che nessuno crederà più ad alcune cose vere? Alcuni la chiamano crisi epistemologica. Ora, Elon Musk dice di non aver mai fatto qualcosa, ma come dimostrarlo?

Schmidt:

Possiamo illustrarlo con l’esempio di Donald Trump. Penso che abbiamo un problema di fiducia nella nostra società e la democrazia potrebbe fallire a causa di ciò. La più grande minaccia alla democrazia è la disinformazione, perché siamo diventati così bravi in ​​questo.

Quando gestivo YouTube, il problema più grande che avevamo erano le persone che caricavano video falsi che provocavano la morte di persone. Abbiamo una politica anti-morte e cercare di affrontare questo problema è scioccante e orribile. Questo avveniva prima dell’avvento dell’intelligenza artificiale generativa.

professore:

Non ho una buona risposta, ma c'è un problema tecnico che sembra mitigarlo, ed è l'autenticazione con chiave pubblica. Perché non utilizzare firme digitali come SSL quando parla Joe Biden? Una celebrità, un personaggio pubblico o un'altra persona può possedere una chiave pubblica?

Schmidt:

Questa è una forma di chiave pubblica che fornisce una certa certezza, ad esempio quando invio la mia carta di credito ad Amazon, so che è Amazon.

Ho pubblicato un articolo con Jonathan Haidt, ma non ha avuto alcun impatto. È un ottimo comunicatore, cosa che probabilmente io non sono. La mia conclusione è che il sistema non è organizzato come diciamo. Gli amministratori delegati spesso massimizzano le entrate e, per farlo, massimizzano il coinvolgimento, e il modo per massimizzare il coinvolgimento è massimizzare l’indignazione. Gli algoritmi scelgono la rabbia perché genera maggiori entrate, quindi le persone tendono a sostenere cose estreme. Questo è un problema su tutti i fronti e deve essere affrontato.

In una democrazia, la mia soluzione a TikTok si basa su ciò di cui abbiamo discusso in privato in precedenza. Quando ero bambino, esisteva una cosa chiamata regola del tempo uguale. TikTok non è in realtà una piattaforma di social media, ma più una forma di televisione. Ogni utente TikTok negli Stati Uniti utilizza l'app per una media di 90 minuti al giorno e realizza 200 video, un utilizzo notevole. Anche se il governo non sta applicando regole sulla parità di tempo, questa potrebbe essere una direzione da prendere in considerazione, che richiede una qualche forma di bilanciamento.

studente:

Il primo riguarda l’impatto economico sul mercato del lavoro. L’impatto è stato più lento di quanto inizialmente previsto, soprattutto sul mercato del lavoro. C'è anche una domanda sul personale del servizio clienti. Pensi che il mondo accademico dovrebbe essere sovvenzionato per l’intelligenza artificiale o dovrebbe collaborare con le grandi aziende?

Schmidt:

Ho spinto molto affinché le università costruissero data center. Se fossi un membro della facoltà di un dipartimento di informatica, sarei frustrato dal fatto di non poter sviluppare algoritmi con studenti laureati per la ricerca di dottorato perché sono costretto a lavorare con le aziende. E queste aziende non sono abbastanza generose in questo senso. È una situazione terribile il fatto che molti docenti e personale trascorrano molto tempo aspettando i crediti Google Cloud. Vogliamo che le università americane abbiano successo in questo, quindi penso che permettere loro di guadagnare questi crediti sia la cosa giusta da fare.

Ascolterei i veri esperti sull’impatto sul mercato del lavoro. Come economista dilettante, credo che ci sia un buon futuro per l’istruzione universitaria e per i compiti altamente qualificati perché le persone utilizzeranno questi sistemi. Non penso che questi sistemi siano fondamentalmente diversi dalle precedenti ondate tecnologiche. I lavori pericolosi e quelli che non richiedono il giudizio umano verranno sostituiti.

studente:

Del passaggio dal testo all’azione e delle sue implicazioni per l’educazione informatica? Penso che l’educazione informatica dovrebbe adattarsi ai tempi che cambiano.

Schmidt:

Presumo che gli informatici come studenti universitari avranno sempre un amico programmatore. Quando imparerai il tuo primo ciclo for, ci sarà uno strumento che diventerà il tuo compagno naturale. Il professore spiega i concetti e tu vieni coinvolto in questo modo.

Studente: Per quanto riguarda la discussione sull'architettura non Transformer, penso che il modello statale sia una direzione in discussione, ma ora viene prestata maggiore attenzione al contesto.

Schmidt:

Non capisco abbastanza bene la matematica, ma sono felice che questo stia creando posti di lavoro per i matematici perché la matematica qui è molto complessa. Fondamentalmente, questi vengono eseguitidiscesa del gradientee diversi metodi di moltiplicazione delle matrici, con l'obiettivo di essere più veloci e migliori. Come sai, i Transformers sono un modo sistematico di fare moltiplicazioni simultaneamente. Ecco i miei pensieri. È simile a questo, ma i conti sono diversi. Vediamo.

studente:

Nel suo articolo sulla sicurezza nazionale ha menzionato la situazione odierna in Cina, negli Stati Uniti e in altri paesi. I dieci paesi del gruppo successivo sono alleati degli Stati Uniti o hanno il potenziale per diventarlo. Sono curioso di sapere cosa pensi di questi dieci paesi. Sono una specie di intermediari, non alleati formali. Quante probabilità ci sono che si uniscano allo sforzo di tenerci al sicuro? Cosa impedisce loro di aderire?

Schmidt:

Il paese più interessante è l’India, perché i migliori talenti dell’intelligenza artificiale provengono dall’India e arrivano negli Stati Uniti. Dovremmo consentire all’India di trattenere alcuni dei suoi migliori talenti, non tutti ma alcuni. E non hanno le ricche strutture e i programmi di formazione che abbiamo qui. A mio parere, l’India è un paese in difficoltà in questo senso. Il Giappone e la Corea del Sud sono ovviamente i nostri campi. Il software taiwanese è terribile, quindi non funzionerà. L'hardware è fantastico. E in altre parti del mondo non ci sono molte altre buone opzioni. L'Europa è fregata a causa di Bruxelles, non è una novità. Ho passato 10 anni a combatterli. Ho lavorato molto duramente per convincerli a modificare la legge sull’UE. Presentano ancora varie limitazioni che ci rendono molto difficile condurre ricerche in Europa. I miei amici francesi passano tutto il loro tempo a combattere Bruxelles. Essendo mio amico personale, Macron sta lavorando duramente su questo fronte. Quindi penso che la Francia abbia una possibilità. Non credo che la Germania arriverà e gli altri paesi non saranno abbastanza forti.

studente:

So che sei un ingegnere di formazione, penso che tu sia chiamato compilatore. Date le capacità che prevedi abbiano questi modelli, dovremmo ancora dedicare tempo a imparare a programmare?

Schmidt:

Sì, perché alla fine è una domanda cliché: perché imparare l'inglese se puoi parlarlo? Imparerai meglio. Hai davvero bisogno di capire come funzionano questi sistemi e posso identificarmi in questo.

studente:

Sono curioso di sapere se hai esplorato una configurazione distribuita. Pongo questa domanda perché, ovviamente, creare un cluster di grandi dimensioni è difficile, ma i MacBook sono potenti. Ci sono molte piccole macchine in tutto il mondo. Quindi pensi che il piegamento a casa o qualcosa del genere sarebbe applicabile all'allenamento di questi sistemi?

Schmidt:

Sì, abbiamo esaminato la questione con molta attenzione. Quindi il modo in cui funziona l'algoritmo è che hai una matrice molto grande e fondamentalmente hai una funzione di moltiplicazione. Quindi consideralo come un avanti e indietro. E questi sistemi sono completamente limitati dalla velocità della memoria della CPU o della GPU. In effetti, la prossima generazione di chip NVIDIA ha integrato tutte queste funzioni in un unico chip. I chip ora sono così grandi che sono attaccati insieme. In effetti, il pacchetto è così sensibile che sia il pacchetto che il chip stesso vengono assemblati in una camera bianca. Quindi la risposta sembra che i supercomputer e la velocità della luce, in particolare le interconnessioni di memoria, abbiano davvero il sopravvento. Penso che per il momento sia improbabile segmentare i modelli linguistici di grandi dimensioni (LLM).

professore:

Jeff Dean ha menzionato in un discorso dell'anno scorso che il modello può essere diviso in diverse parti, addestrate separatamente e poi combinate.

Schmidt:

Ma per raggiungere questo obiettivo, è necessario disporre di decine di milioni di modelli simili e la velocità con cui si pongono le domande diventerà molto lenta. Ha detto che per raggiungere questo obiettivo sarebbero necessari otto, 10 o 12 supercomputer, ma non è al suo livello.

studente:

Per quanto riguarda la questione della privacy dei dati, ho appreso che il New York Times ha citato in giudizio OpenAI per aver utilizzato il proprio lavoro a fini di formazione.

Schmidt:

Penso che potrebbero esserci molte cause simili in futuro, e alla fine verrà raggiunto un qualche tipo di accordo, ad esempio richiedendo che una certa percentuale delle entrate venga pagata per l'uso di determinate opere, come ASCAP ed EMI nell'industria musicale . Questo modello può sembrare un po' datato, ma penso che alla fine funzionerà così.

studente:

Nel campo dell’intelligenza artificiale, sembrano esserci alcune aziende che dominano il mercato e si sovrappongono alle aziende più grandi su cui si concentrano le normative antitrust.

Schmidt:

Nella mia carriera sono stato coinvolto nel caso dello scioglimento di Microsoft, ma alla fine non ha avuto successo; ho anche lavorato duramente per impedire lo scioglimento di Google, ma ho anche fallito. Pertanto, penso che la tendenza non sia quella di dividersi. Finché queste società non diventeranno monopoli come John D. Rockefeller, l’azione del governo sarà improbabile.

Queste grandi aziende dominano perché solo loro hanno il capitale per costruire data center. Ho amici Reed e Mustafa che hanno deciso di cedere la loro attività a Microsoft perché non potevano raccogliere decine di miliardi di dollari. Per quanto riguarda i numeri esatti, potresti dover chiedere a Reed di dirtelo.

studente:

Infine, mi chiedo quale impatto avranno questi sviluppi sui paesi che non sono coinvolti nello sviluppo e nei calcoli di modelli all’avanguardia.

Schmidt:

I paesi ricchi diventeranno ancora più ricchi, mentre i paesi poveri potranno solo fare del loro meglio. Questo è in realtà un gioco per i paesi ricchi, che richiede ingenti capitali, talento tecnico e un forte sostegno da parte del governo. A livello globale, molti paesi si trovano ad affrontare diversi problemi, soprattutto quando le risorse sono scarse. Hanno bisogno di trovare partner e lavorare con gli altri per risolvere questi problemi.

professore:

Ricordo che l'ultima volta che ci siamo incontrati eri cosìAGI House partecipa ad un hackathon. So che dedichi molto tempo e sei appassionato nell'aiutare i giovani a creare ricchezza. Hai qualche consiglio per le persone che stanno scrivendo piani aziendali per i corsi o scrivendo proposte politiche o proposte di ricerca nella loro carriera?

Schmidt:

Insegno un corso su questo argomento in una business school e dovresti venire ad ascoltare. Sono scioccato dalla rapidità con cui presenti nuove idee.

In un hackathon a cui ho partecipato, la squadra vincitrice aveva il compito di far volare un drone tra due torri. Hanno utilizzato Python per generare codice in uno spazio virtuale con droni e hanno completato con successo l'attività nel simulatore. Potrebbe volerci un buon programmatore professionista una o due settimane per farlo. Penso che la capacità di creare rapidamente prototipi sia davvero importante perché parte del problema che gli imprenditori devono affrontare è la velocità. Se non riesci a prototipare in un giorno con questi strumenti, devi riconsiderarlo perché è esattamente ciò che stanno facendo i tuoi concorrenti.

Quindi il mio più grande consiglio è che quando inizi a pensare di avviare un’azienda, va bene scrivere un business plan. In effetti, puoi farlo scrivere a un computer, purché sia ​​legale. È importante utilizzare questi strumenti per prototipare le tue idee il più rapidamente possibile perché potrebbe esserci qualcuno che fa la stessa cosa in un'altra azienda, università o in qualche posto in cui non sei stato.

professore:Grazie mille.