notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

prendendo come esempio l'industria fotovoltaica, amodei ritiene che anche se una tecnologia diventa molto importante e ampiamente utilizzata sul mercato, potrebbe essere ancora difficile portare profitti elevati a una singola azienda, e un'elevata commercializzazione limiterà la redditività dell'azienda. analogamente al settore fotovoltaico, la dimensione del mercato della tecnologia ai può essere molto ampia, ma potrebbe anche essere difficile trarne profitto, e anche la questione della distribuzione degli utili tra i diversi partecipanti è molto complicata.

ia difficile

autore |. huang wenwen

redattore |. intelligenza artificiale dura

questa settimana, dario amodei, ceo e co-fondatore di “ai unicorn” anthropic, ha partecipato all'intervista e ha discusso dello sviluppo del settore dell'intelligenza artificiale, della legge sullo scaling, ecc.

la legge di scala si riferisce principalmente al fatto che con l’aumento dei dati e della potenza di calcolo, aumenteranno anche le capacità del modello.amodei ritiene che se questa legge continuerà a valere, l’intelligenza artificiale diventerà probabilmente molto potente e porterà nuovi modelli di business e innovazioni tecnologiche.

tuttavia, ha anche sottolineato che questa legge non è sempre applicabile se le prestazioni del modello non possono essere ulteriormente migliorate in alcuni aspetti, l’intero settore dell’intelligenza artificiale potrebbe risentirne.

amodei si è soffermato anche sul confronto tra il settore dell’ai e quello del fotovoltaico. ha utilizzato l'esempio dell'industria fotovoltaica per illustrare che anche se una tecnologia diventa molto importante e ampiamente utilizzata sul mercato, potrebbe essere ancora difficile portare profitti elevati a una singola azienda.

sebbene la tecnologia fotovoltaica abbia quasi scosso l’intero settore energetico, il suo mercato è altamente mercificato, fortemente competitivo e privo di effetti significativi sul marchio, quindi la redditività di ciascuna azienda è soggetta ad alcune limitazioni.

analogamente al settore fotovoltaico, la dimensione del mercato della tecnologia ai può essere molto ampia, ma potrebbe anche essere difficile trarne profitto. il modello di profitto dell’intelligenza artificiale può essere influenzato da molteplici fattori, come i costi di calcolo del modello, i costi di inferenza, ecc. anche la distribuzione dei profitti tra fornitori di hardware, sviluppatori di modelli e livelli di applicazione è piuttosto complessa e deve affrontare sfide considerevoli.

i punti di discussione sono i seguenti:

1. è alquanto difficile separare completamente la legge sullo scaling dalle questioni aziendali.

2. dato che il mercato è così ampio, la mia risposta iniziale è che i guadagni affluiranno verso tutti questi posti.

3. se la legge di scala è corretta, allora questo sarà un mercato molto vasto. anche se solo il 10% dei profitti va a una certa parte della catena di fornitura, si tratta comunque di un'enorme somma.

4. se stiamo costruendo un modello con decine o centinaia di miliardi di parametri, potrebbero non essere coinvolte più di quattro o cinque entità (e forse alcune imprese statali). quindi quello a cui stiamo assistendo potrebbe essere qualcosa di più simile a un oligopolio che a un pieno monopolio o una piena mercificazione.

5. anche se un modello di questo tipo venisse rilasciato, il costo di gestione di un modello di inferenza così grande è molto elevato e la maggior parte del costo riguarda l'inferenza piuttosto che l'addestramento del modello. se disponi di metodi di ragionamento migliori, anche solo un miglioramento del 10%, 20% o 30% può avere un grande impatto.

6. disponiamo di modelli più grandi e potenti e di modelli più veloci, più economici e meno intelligenti. alcuni clienti hanno scoperto che il modello grande può assegnare attività a un gran numero di modelli piccoli e quindi riferire al modello grande per completare l'attività come un. sciame.

7. nessuno dovrebbe credere che la legge di scalabilità continuerà per sempre, è solo un’osservazione empirica e potrebbe interrompersi in qualsiasi momento. li osservo da dieci anni e la mia ipotesi che non si fermeranno è solo una proposta 60-40 o 70-30 in base al periodo di tempo in cui li osservo.

8. se riusciamo a utilizzare correttamente l’intelligenza artificiale, possiamo aumentare la velocità con cui facciamo queste scoperte di 10, forse 100 volte.

il testo completo dell'intervista è il seguente, con alcuni contenuti cancellati:

01

google non è riuscito a diventare i bell labs dell’era dell’intelligenza artificiale

noè smith:

in questo podcast di economia preferiamo parlare di economia piuttosto che di argomenti puramente tecnici. quindi google è il bell labs dell’era dell’intelligenza artificiale?

hanno fatto ricerche sul deep learning moderno, sui transformers e così via, ma non sono riusciti a commercializzarlo, come i bell labs. hanno finanziato la ricerca con i soldi del monopolio, e poi persone interessanti come te hanno lavorato lì e poi se ne sono andate per avviare aziende, come le persone della fairchild presso i bell labs. pensi che sia una metafora appropriata?

dario amodei:

sebbene nulla sia un'analogia perfetta, penso sicuramente che ci sia del vero. molti lo consideravano la continuazione di una carriera accademica, molto simile all’ambiente industriale dei bell labs, tranne per il fatto che google aveva più risorse per raggiungere i suoi obiettivi. molti progetti sono quindi allo studio. transformer è una delle invenzioni chiave che guidano questo campo ed è solo uno dei circa cento progetti in fase di ricerca.

se fossi al vertice dell'organizzazione, non saresti in grado di distinguerla ragionevolmente dagli altri 99 progetti in fase di sviluppo. è come se cento fiori sbocciassero e gareggiassero tra loro. penso che sia stato allora che ho proposto per la prima volta la legge di scaling, secondo la quale dobbiamo adattare e integrare queste innovazioni su vasta scala.

in teoria, google è il posto migliore per farlo, ha il cluster più grande al mondo con tonnellate di ingegneri di talento e tutti gli elementi necessari.tuttavia, google è organizzato per la ricerca, e non penso che serva necessariamente a mettere insieme tutti questi pezzi e a ridimensionare in modo massiccio qualcosa di completamente diverso da quello che era prima.

noè smith:

proprio come i bell labs non sono stati creati per inventare i computer e dare a tutti un computer, sono stati creati per collegare tutti.

dario amodei:

sì, è una compagnia telefonica. quindi non posso parlare per google, ma ovviamente ora oltre a inventare tutte queste cose straordinarie, sono una delle quattro principali aziende con modelli all'avanguardia che sono sia nostri partner che nostri concorrenti. conosco molte persone lì che sono molto intelligenti.

ma penso che tu abbia ragione, ci sarà un momento in cui potrebbero essere l'unico attore dominante se riusciranno a combinare questi elementi nel modo giusto. ma, qualunque sia il motivo, le cose non andarono in quella direzione.

02

legge di scala:

all’aumentare della dimensione dei dati, il modello diventa più potente

noè smith:

questo fa sorgere un'altra domanda a cui stiamo pensando. in realtà, l'idea di parlarvi è venuta da qualcosa di cui stavamo discutendo in un altro podcast in cui parlavamo fondamentalmente dell'economia del business di internet, e poi qualcuno ha espresso alcune opinioni pessimistiche sul business dell'ia, chiedendosi quante ai fossati economici ci sono davvero.

ovviamente, questo è strettamente correlato ad anthropic e ad altre società che chiamiamo startup, ma sono già piuttosto grandi.allora, dicci cosa pensi dei fossati economici delle aziende di intelligenza artificiale.

dario amodei:

direi che dividerò un po' questa domanda in due rami. penso che sia difficile separare completamente la legge sullo scaling dalle questioni aziendali. consideriamo quindi il caso in cui la legge di scala vale in una forma molto forte, e poi consideriamo i casi in cui potrebbe valere parzialmente o per niente. se questo vale in una forma molto forte, la situazione assomiglia a questa:

ora hai addestrato un modello con 100 milioni di parametri e le sue capacità sono equivalenti a quelle di una buona matricola universitaria;

quindi addestri un modello con un miliardo di parametri, che equivale alla capacità di un bravo studente universitario;

hai addestrato un modello con decine di miliardi di parametri e le sue capacità sono equivalenti a quelle di uno studente laureato;

quando si addestra un modello con centinaia di miliardi di parametri, le sue capacità sono equivalenti a quelle di un vincitore del premio nobel.

e poi metti in servizio questo modello e fondamentalmente servi tutti, e diventa tuo collega, diventa il tuo assistente personale, aiuta con la sicurezza nazionale, aiuta con la ricerca biologica.

penso che in quel mondo, questo sistema e i prodotti basati su di esso occuperanno gran parte dell’economia. la domanda che resta è: dove andranno i proventi? arriverà a nvidia, alle società di intelligenza artificiale o alle applicazioni a valle? dato che il mercato è così vasto, la mia risposta iniziale è:i benefici affluiscono a tutti questi luoghi.

03

il futuro dell’intelligenza artificiale sarà simile a quello del settore fotovoltaico

noè smith:

ma pensate al solare, il solare sarà chiaramente molto importante. più energia avremo bisogno, più diffuso sarà l’uso dell’energia solare. tuttavia, è difficile dire quale azienda solare stia realizzando molti profitti. l’energia solare è un prodotto molto standardizzato e, sebbene contenga molta innovazione, non vi è alcun effetto di marchio, alcun effetto di rete e nessun effetto di lock-in. è difficile per qualsiasi azienda solare realizzare un profitto su questo argomento , e queste cose stanno cambiando il mondo davanti ai nostri occhi.

quindi non sono del tutto sicuro che solo perché tutto avrà un boom come il solare in questo momento, ciò porterà necessariamente a profitti per l'azienda. ma sono certamente aperto a questa possibilità. voglio solo saperequale pensi che sia la fonte? perché lo sviluppo dell’intelligenza artificiale è diverso?

dario amodei:

energia solare? penso che ci siano due punti qui, perché penso che questa sia una domanda importante nella maggior parte dei mondi. forse sto solo dicendo che, se la legge di scala è corretta, questo sarà un mercato molto enorme. anche se solo il 10% dei profitti va a una certa parte della catena di fornitura, si tratta comunque di un'enorme somma.

man mano che si allarga la torta, diventa la questione più interessante, anche se coloro che decidono come distribuire le banconote da un dollaro saranno sicuramente molto preoccupati di dove vanno a finire i trilioni. ma torniamo alla tua domanda, perché penso che sia importante in tutto il mondo.il nocciolo della questione è quanto è grande la "torta" che stai dividendo.

innanzitutto, dal punto di vista del modello, dipende dalla legge di scala. se stessimo costruendo un modello con decine o centinaia di miliardi di parametri, probabilmente non sarebbero coinvolte più di quattro o cinque entità (e forse alcune imprese statali). quindi quello a cui stiamo assistendo potrebbe essere qualcosa di più simile a un oligopolio che a un pieno monopolio o una piena mercificazione.

immagino che una domanda qui sia: qualcuno rilascerà un modello open source con un miliardo o 10 miliardi di parametri? sono scettico, anche se un modello del genere venisse rilasciato, il costo di gestione di un modello di inferenza così grande è molto elevato, con la maggior parte del costo relativo all'inferenza piuttosto che all'addestramento del modello. se disponi di metodi di ragionamento migliori, anche solo un miglioramento del 10%, 20% o 30% può avere un grande impatto. gli aspetti economici sono un po' strani, si tratta di un costo fisso enorme che bisogna ammortizzare, ma c'è anche un costo unitario del ragionamento e, in base a questo presupposto, se distribuito abbastanza ampiamente, la differenza può essere enorme. non sono sicuro di come andrà a finire.

noè smith:

in realtà questo è simile all’economia dell’industria pesante, come il modo in cui viene prodotto l’acciaio.

dario amodei:

sì, un po'. è interessante notare che l'altra cosa che direi è che all'interno di questi modelli abbiamo iniziato a vedere che i modelli hanno personalità diverse. quindi la mercificazione è una possibilità, ma anche in un oligopolio il modo in cui vengono implementati determinati modelli potrebbe essere mercificato, anche se non ne sono sicuro.

ma una forza che va contro questa visione è: ehi, io ho realizzato un modello che era bravo nella programmazione, tu hai realizzato un modello che era bravo nella scrittura creativa e una terza persona ha realizzato un modello che era bravo nell'intrattenimento. queste sono scelte e, una volta che si iniziano a fare tali scelte, si inizia a costruire un’infrastruttura attorno ad esse, il che sembra creare i prerequisiti per un certo livello di differenziazione.

un’altra possibile fonte di differenziazione sono i prodotti costruiti su modelli.in teoria è possibile separare il livello del modello dal livello del prodotto, in pratica sono correlati e lavorare tra organizzazioni diverse può essere impegnativo. quindi, anche se esiste una logica comune quando si tratta di modelli, con molte aziende che si muovono nella stessa direzione, aggiungendo funzionalità multimodali per rendere i modelli più intelligenti e rendere l’inferenza più veloce, i prodotti sono molto diversi.

se guardi questo progetto "artifacts" che abbiamo realizzato, è un modo di visualizzare il codice di scrittura del modello in tempo reale. noi lo facciamo, openai ha il proprio approccio e google ha il proprio approccio. penso che questa sia anche una delle fonti di differenziazione tra le aziende.

abbiamo visto che gli aspetti economici della vendita di app, anche quelle relativamente scarse, stanno diventando sempre più spessi in base al modello.

erik torenberg:

se la scaling law è vera e le cose diventano così grandi come pensiamo, ti aspetti che queste aziende ad un certo punto vengano nazionalizzate? oppure cosa ne pensi?

dario amodei:

possiamo dividerlo in due situazioni: una è che la legge di scaling è corretta, e l'altra è che la legge di scaling è sbagliata. se è sbagliato, allora si tratta semplicemente di una tecnologia che, come internet o l’energia solare, potrebbe essere più importante di molte altre, ma non senza precedenti. sulla base dello sviluppo attuale, non penso che sarà nazionalizzato.

se è giusto, i modelli che stiamo costruendo sono validi quanto quelli dei biologi vincitori del premio nobel e dei migliori programmatori del settore, o anche migliori. non sono sicuro che si tratterà effettivamente di una nazionalizzazione, saremo molto preoccupati se i nostri avversari riusciranno a tenere il passo con noi o se potremo schierarli con la stessa rapidità dei nostri avversari.

04

legge di scala

influenza l’intelligenza artificiale per creare nuovi modelli di business

noè smith:

ho una domanda sull’impatto dell’intelligenza artificiale sui modelli di business. conoscete la storia dell'elettricità, praticamente all'inizio, quando hanno avuto l'elettricità, i produttori hanno cercato di smantellare i loro generatori di vapore, e i generatori avevano delle perdite. poi qualcuno scoprì che era possibile fornire elettricità a più postazioni di lavoro in parallelo, il che ha cambiato il modo in cui funzionava la produzione. invece di una grande catena di montaggio, si è trasformata in molteplici piccole postazioni di lavoro, il che ha portato a enormi guadagni di produttività per decenni.

ho sempre sospettato che l'intelligenza artificiale sia simile. penso che internet sia simile,l’intelligenza artificiale è simile in quanto all’inizio sembra che tutti pensino che l’intelligenza artificiale sia una persona. qualcuno ha effettivamente paragonato il numero di ia al numero di dipendenti umani, il che non ha senso per me perché non può essere suddiviso in individui.

potresti creare un sistema basato su proxy per imitare questo approccio, ma perché? vedo tutti pensare che l’intelligenza artificiale sostituisca direttamente gli esseri umani, e la mia tesi è che questa è la prima fase, proprio come l’elettricità che sostituisce direttamente le caldaie a vapore non è una buona idea. penso che le persone rimarranno un po' deluse perché ci sono solo pochi casi in cui questa sostituzione diretta di un essere umano funziona, come il servizio clienti e alcune altre cose ben definite.

ma penso che ci siano solo pochi casi in cui questa sostituzione diretta degli esseri umani funzionerà, e poi sperimenteremo l’esplosione del ciclo pubblicitario di gartner.

alcuni imprenditori creativi direbbero che non stiamo usando l’intelligenza artificiale solo come sostituto dell’uomo, ma la stiamo usando per creare nuovi modelli di business. poi vedremo un periodo di boom e di ripresa, questa è la mia previsione. le mie previsioni in stile gartner, sono pazzo?

dario amodei:

quindi penso che sia un misto di alcune cose con cui sono d'accordo e di altre con cui potrei non essere d'accordo. prima di tutto, sono sostanzialmente d'accordo sul fatto che se congeli la qualità del modello attuale, tutto quello che dici è corretto. fondamentalmente osserviamo qualcosa di simile negli affari. forniamo modelli con cui puoi parlare, ma vendiamo anche modelli tramite un'api a molti clienti. le persone hanno impiegato molto tempo per capire come utilizzare al meglio i modelli.

ci sono molte domande sull'affidabilità del modello e penso che questo sia motivo di preoccupazione, come un modello che dà la risposta giusta il 95% delle volte ma non il 5% delle volte, come si rilevano queste situazioni e come si fa a gestire la gestione degli errori molto importante. questo è molto diverso dall’essere utile in teoria e dall’essere utile nella pratica.

all'inizio avevamo una funzionalità che permetteva al modello di scrivere del codice, quindi potevi incollare il codice in un compilatore o interprete per creare un videogioco javascript e, se qualcosa andava storto, potevi tornare al modello e risolverlo. vediamo anche modelli grandi coordinare modelli piccoli, il che è molto diverso dall'idea che un modello sia una persona.

disponiamo di modelli più grandi e potenti e di modelli più veloci, più economici e meno intelligenti e alcuni clienti hanno scoperto che il modello grande può distribuire le attività a un gran numero di modelli piccoli, che poi riferiscono al modello grande per completare l'attività come un sciame.

stiamo anche esplorando i modi migliori per utilizzare i modelli, che stanno diventando sempre più intelligenti e capaci di risolvere questi problemi. quindi alla fine si torna alla questione se la legge di scaling è qui per restare. se continuano, sarà un processo come quello che descrivi. se si fermassero, l’innovazione si fermerebbe e il processo che descrivi finirebbe.

nessuno dovrebbe credere che la legge di scala continuerà per sempre, è solo un’osservazione empirica e potrebbe interrompersi in qualsiasi momento. li osservo da dieci anni e la mia ipotesi che non si fermeranno è solo una proposta 60-40 o 70-30 in base al periodo di tempo in cui li osservo.

erik torenberg:

cosa cambierebbe la tua opinione? cosa cambierebbe le tue probabilità lì?

dario amodei:

penso che, prima di tutto, se ci limitiamo ad addestrare un modello e poi proviamo il modello in scala successivo, i risultati saranno pessimi. abbiamo provato alcune volte a risolvere il problema ma ancora non ha funzionato e ho pensato, oh, immagino che questa tendenza si stia fermando.

se c'è un problema con l'esaurimento dei dati e non possiamo generare abbastanza dati sintetici per continuare questo processo, allora ad un certo punto direi, ehi, sembra davvero difficile, almeno questa tendenza si fermerà, forse si fermerà, ma potrebbe non fermarsi. sto ancora immaginando che queste cose non accadranno, ma sai, è una questione molto complessa.

05

l’intelligenza artificiale potrebbe accelerare le scoperte biologiche 100 volte

comprimere il tempo del progresso secolare

noè smith:

se il collo di bottiglia delle risorse dell’intelligenza artificiale risiede più nella potenza di calcolo che nell’energia, allora avremo maggiori vantaggi comparativi nell’uso dell’intelligenza artificiale. sei sostanzialmente d’accordo con questo punto di vista?

dario amodei:

sì, penso che abbia senso. vuoi dire, per usare una metafora un po' ridicola,se le ia sono come i cybermen e il processo per crearle e allevarle è molto simile a quello degli esseri umani, allora siamo nei guai.ma se si tratta semplicemente di un cluster di server da qualche parte con input completamente diversi, allora va bene.

non ci ho pensato in modo approfondito, ma a prima vista sembra avere senso. se fossimo in una situazione in cui l’intelligenza artificiale stesse rimodellando il mondo e la struttura economica fosse cambiata, allora potremmo parlare di qualcosa di diverso. ma se le normali regole dell’economia continuano ad applicarsi, e penso che lo saranno per un po’, allora sembra molto ragionevole.

noè smith:

ma la mia altra domanda è: è necessario considerare un mondo di estrema abbondanza? l’intelligenza artificiale è così potente che ci offre una biologia e una produzione straordinarie, rendendo tutto ciò che vogliamo dieci volte, cento volte migliore, ecc.

dario amodei:

penso che sottovalutiamo davvero il potenziale dell’intelligenza artificiale in biologia. dieci anni fa, quando lavoravo in questo campo, l’atteggiamento era che la qualità dei dati che ottenevamo dalla biologia era discutibile, la quantità di dati che potevamo ottenere era limitata e gli esperimenti venivano spesso interrotti. naturalmente, una maggiore analisi dei dati, big data e intelligenza artificiale sono positivi, ma nella migliore delle ipotesi avranno un ruolo di supporto. forse con l'avvento di alpha fold le cose cambiano.

ma la mia opinione è che i modelli di intelligenza artificiale possano agire come biologi o co-biologi. se pensiamo alla biologia davvero avanzata, è come se ci fossero un numero sproporzionato di tecnologie che alimentano tutto. ad esempio, il sequenziamento del genoma, la capacità di leggere il genoma, è il fondamento della biologia moderna. la tecnologia crispr più recente è la capacità di modificare il genoma. se riusciamo a usare correttamente l’intelligenza artificiale, possiamo aumentare la velocità con cui facciamo queste scoperte di 10, forse 100 volte.

prendiamo ad esempio crispr, che è stato assemblato dal sistema immunitario batterico e ci sono voluti 30 anni per inventarlo. penso che se riusciamo ad aumentare notevolmente la velocità con cui vengono fatte queste scoperte, aumenteremo anche notevolmente la velocità con cui le malattie possono essere curate.

il mio pensiero è: possiamo comprimere il progresso nel 21° secolo? possiamo realizzare tutti i progressi biologici del 21° secolo utilizzando l’intelligenza artificiale per accelerarli di un fattore 10?se pensi a tutti i progressi che abbiamo fatto in biologia nel 20° secolo e poi li comprimi in cinque o dieci anni, per me questo è il lato positivo. penso che questo possa essere vero. potremmo curare le malattie che ci affliggono da millenni, il che, ovviamente, aumenterebbe notevolmente la produttività, espanderebbe la torta economica e allungherebbe la durata della vita umana.