notizia

"Tyrant" domina AGI e OpenAI è diretto verso un futuro pericoloso?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autore della tecnologia Tencent Guo Xiaojing Hao Boyang

Redattore Su Yang

I problemi del personale di OpenAI continuano, questa voltaIA aperta Il presidente Greg Brockman, riconosciuto come un fedele sostenitore di Sam Altaman e che era con lui quando Sam fu estromesso dal consiglio di amministrazione, ha annunciato un congedo a lungo termine. Lo stesso Greg Brockman ha annunciato che tornerà in azienda dopo una lunga vacanza. Tuttavia, molti dirigenti senior di aziende tecnologiche si prenderanno una lunga vacanza prima di lasciare il lavoro. È difficile che le sue azioni non provochino altre speculazioni.

Inoltre, due dirigenti principali sono stati invitati ad andarsene: uno era Johnson Schulman, uno dei cofondatori, che ha ricoperto per un breve periodo il ruolo di capo del team di sicurezza prima di partire. Questo team era precedentemente guidato congiuntamente dall'ex capo scienziato di OpenAI Ilya Sutskever ricercatore Jan Leike.

Allo stesso tempo, Johnson ha anche guidato OpenAIGPT Si può dire che il processo di Post-Training di una serie di modelli di grandi dimensioni sia una figura molto chiave nella costruzione tecnologica. La cosa ancora più intrigante è che dopo essersi dimesso, come Jan Leike, è entrato direttamente in Anthropic, il più forte concorrente di OpenAI.

Inoltre, anche Peter Deng, il product manager che è entrato a far parte di OpenAI l'anno scorso, si è dimesso. Sebbene non fosse un co-fondatore, si è dimesso meno di un anno dopo l'adesione, il che farà anche speculare il mondo esterno su ciò che è accaduto al. Squadra OpenAI.

La seconda ondata di mobilità dei talenti di OpenAI

Sono rimasti solo 3 fondatori e 1 è in congedo a lungo termine.

Dopo questo cambiamento, degli 11 cofondatori originali di OpenAI, solo Sam Altman, Wojciech Zaremba e Greg Brockman (che ha anche annunciato un congedo a lungo termine) rimangono in OpenAI. I restanti membri fondatori hanno tutti lasciato la squadra.

Cinque di questi 11 fondatori sono stati tra il 2017 e il 2018, quando Musk annunciò il suo disinvestimento, innescando un'ondata di tumulto in OpenAI. Compresi Trevor Blackwell, Vicki Cheung, Durk Kingma, Pamela Vagata.Anche Andrej Karpathy, un altro membro fondatore, è stato preso direttamente da Musk per servire come TeslaAutopilota principale. Non è tornato a OpenAI fino a febbraio 2023.

I restanti sei membri fondatori si sono tutti dimessi quest’anno dopo la battaglia legale di OpenAI alla fine dello scorso anno. Compreso l'ex capo scienziato di OpenAI Ilya Sutskever, il già citato John Schulman e lo scienziato Andrej Karpathy tornato per un solo anno. Si può dire che l’anno 2024 segnerà il più grande cambiamento nel personale senior che OpenAI abbia vissuto dalla crisi di Musk.

Dove sono finiti tutti i dipendenti che hanno lasciato OpenAI?

A giudicare da dove si trovano i dipendenti che lasciano OpenAI, generalmente prendono due strade. Uno è unirsi alle aziende rivali, fondamentalmente Deepmind e Anthrophic. Il secondo è avviare un'attività in proprio La stragrande maggioranza dei dipendenti dimessi sopra menzionati (66%) ha scelto di aderire a nuovi progetti imprenditoriali.

Questa scelta di fatto diede vita alla cosiddetta “OpenAI Mafia”. Secondo i media, prima di quest’anno quasi 30 dipendenti hanno lasciato OpenAI e hanno fondato le proprie società di intelligenza artificiale. Molti di loro hanno raggiunto il livello dell'unicorno. Tra questi il ​​più noto è Anthrophic, fondato da Dario Amodei, che è diventato il concorrente più potente di OpenAI.

Qual è l’impatto di queste dimissioni?

Secondo il diagramma dell'architettura precedentemente divulgato da Information, le tre persone che questa volta subiranno cambiamenti di personale sono tutti core manager di OpenAI. Da un punto di vista funzionale, sia Brockman che Shulman riferiranno a Mira Murati, CTO di OpenAI (Greg dovrebbe anche essere responsabile di un lavoro aggiuntivo come presidente e membro del consiglio), e Peter Deng, che è il vicepresidente dei prodotti utente, dovrebbe essere a il terzo livello di rendicontazione. Il lavoro di cui sono responsabili appartiene fondamentalmente al lavoro tecnico principale di OpenAI. L'impatto di questi cambiamenti non può dirsi insignificante. Probabilmente tre dei 40 dirigenti senior sono stati sostituiti.

Ma in realtà, guardando il contenuto specifico delle tre persone responsabili, al momento potrebbe non essere realmente correlato al nucleo di sviluppo del nuovo modello di OpenAI. Secondo il precedente blog ufficiale di OpenAI, Greg Brockman ricoprirà la carica di presidente dal 2022 e in quel momento si concentrò sulla formazione del sistema AI di punta di OpenAI. Ma in realtà, a partire da GPT-4, l’attuale capo scienziato Jakub Pachocki ha guidato lo sviluppo di GPT-4 e OpenAI Five.

Shulman una volta era responsabile della parte post-formazione di OpenAI e propose l'algoritmo Proximal Policy Optimization (PPO). Si tratta di un insieme di algoritmi strategici fondamentali per migliorare modelli linguistici di grandi dimensioni, ed è anche uno dei principali algoritmi utilizzati fino ad ora da OpenAI. Tuttavia, dopo che Illya si è dimesso, è stato nominato responsabile del Super Alignment e si stima che il suo attuale impatto sul progetto GPT-5 sia molto limitato.

Il vicepresidente responsabile del prodotto Peter Deng è responsabile dei prodotti dei clienti e ha un rapporto complessivo limitato con il lavoro di sviluppo principale di GPT-5.

Allo stato attuale si può sostanzialmente confermare che il vicepresidente della ricerca Bob MacGrew e il capo scienziato Jakub Pachocku sono le figure più critiche nello sviluppo del nuovo modello.

Inoltre, le figure principali all’interno di OpenAI che potrebbero promuovere l’innovazione tecnologica non sono più dirigenti senior, ma alcuni ricercatori di base. Ad esempio, l'ex CEO di Stability AI Emad ha dichiarato su X che solo le dimissioni di Alec Radford potranno determinare il collasso di OpenAI.

Possiamo anche vedere il suo peso cercando su Google il numero di citazioni negli articoli di Scholar.

Pertanto, l’impatto di queste dimissioni sul progresso della ricerca di OpenAI potrebbe essere limitato. L’impatto principale è sul morale interno del team e sulla fiducia esterna nell’azienda.

Dopotutto, un capo che non riesce nemmeno a tenersi i suoi migliori amici e ha eliminato tutte le società di Lianchuang, avrà difficoltà ad acquisire fiducia nelle sue capacità gestionali.

Ipotesi chiave in conflitto

Parole chiave per partire: Super Allineamento

Il progetto Super Alignment di OpenAI è stato istituito nel giugno 2023. Prevede di investire il 20% della potenza di calcolo nei prossimi quattro anni per costruire un ricercatore di allineamento automatico equivalente al livello umano utilizzando la supervisione dell'intelligenza artificiale per risolvere il problema dei sistemi intelligenti e degli esseri umani di livello superiore Problemi di coerenza degli obiettivi. Il team "Super Alignment" è guidato congiuntamente dal co-fondatore e capo scienziato di OpenAI Ilya Sutskever e dal ricercatore Jan Leike.

Si può dire che Ilya Sutskever sia una delle figure dell'anima di OpenAI. Quando nel 2017 è stato pubblicato il documento "L'attenzione è tutto ciò di cui hai bisogno" che ha attirato grande attenzione nel settore, Ilya lo ha pienamente sostenuto.TrasformatoreDirezione architettura, quindi ha guidato lo sviluppo dei modelli della serie GPT e Vincentian DALL-E.

Ilya era anche uno studente di Geoffrey Hinton, noto come il "padre del deep learning". Ha completato i suoi studi universitari e post-laurea sotto la guida di Hinton e alla fine ha conseguito un dottorato di ricerca in informatica. Hinton ha anche avvertito che il rapido sviluppo dell’intelligenza artificiale potrebbe comportare minacce che vanno oltre l’intelligenza umana.

Alla fine del 2023, l'incidente noto come "OpenAI Palace Fight" è stato finalmente interrotto temporaneamente dalla partenza di Ilya e dal ritorno di Sam Altman. Tuttavia, la controversia continua ancora oggi. La più grande speculazione dal mondo esterno è che ci siano differenze interne all’interno di OpenAI, e ancora più grande è l’enorme conflitto di credenze.

A giudicare dal background e dal comportamento di Sam Altman, l'industria tende a considerarlo un sostenitore dell'e/acc (accelerazionismo efficace), credendo che lo sviluppo della tecnologia sia essenzialmente vantaggioso per l'umanità e che l'umanità dovrebbe investire quante più risorse possibile Accelerare l'innovazione per modificare la struttura sociale esistente. Corrispondente a ciò che ha fatto OpenAI, può essere riassunto in modo semplice e grossolano come la concentrazione di risorse finanziarie e risorse per sfondare l’AGI a tutta velocità.

Il super allineamento e l'accelerazione efficace non sono più, in sostanza, una battaglia di percorsi, ma un enorme conflitto di convinzioni interiori. Nel maggio 2024, anche Jan Leike ha annunciato le sue dimissioni. Quando si è dimesso, ha pubblicato sui social media Lavori pericolosi, ma negli ultimi anni la sicurezza dell'intelligenza artificiale ha lasciato il posto a prodotti brillanti. Questa divisione va avanti da tempo finalmente raggiunto il punto di non ritorno”.

Con le dimissioni di Jan Leike, il team originale del Super Alignment è sostanzialmente giunto al termine. I restanti membri sono stati integrati nella squadra di sicurezza, guidata da Johnson Schulman. Proprio oggi anche Johnson Schulman ha annunciato la sua partenza.

Ciò che è molto intrigante è che sia Jan Leike che Johnson Schulman sono andati ad Anthropic, che si può dire abbia le stesse radici di OpenAI. Il fondatore di Anthropic è anche Dario Amodei, ex dipendente principale di OpenAI. Si dice che quando Dario se ne andò già nel 2020, fu a causa di problemi di sicurezza dell'IA.

Dario ha lanciato Constitutional AI ad Antropic, un metodo di addestramento di modelli di intelligenza artificiale che guida il comportamento dei sistemi di intelligenza artificiale attraverso un chiaro insieme di principi comportamentali, piuttosto che fare affidamento sul feedback umano per valutare le risposte. Il fulcro di questo approccio è utilizzare il sistema di intelligenza artificiale stesso per aiutare a supervisionare altri sistemi di intelligenza artificiale per migliorare l’innocuità e l’utilità dell’intelligenza artificiale, espandendo al contempo la portata della supervisione.

Dario ha sottolineato che l’idea principale dell’IA costituzionale è quella di utilizzare i sistemi di intelligenza artificiale per aiutare a supervisionare altri sistemi di intelligenza artificiale, ampliando così la portata della supervisione e migliorando l’innocuità e l’utilità dell’IA. Il processo dell’IA costituzionale prevede fasi quali l’autocritica, la correzione, l’apprendimento supervisionato e l’apprendimento per rinforzo, nonché una serie di principi costituzionali basati sul linguaggio naturale per limitare il comportamento dell’IA.

È molto simile ai pensieri super-allineati di Ilya?

Sembra che da allora OpenAI e Anthropic siano diventati rappresentanti diversi delle due convinzioni di accelerazionismo efficace e super-allineamento nel campo dell’intelligenza artificiale.

In precedenza, alcune persone hanno sottolineato con preoccupazione che la partenza di Ilya potrebbe essere dovuta al fatto che ha visto che alcune delle tecnologie di OpenAI erano fuori controllo. Se così fosse, Anthropic, che sta camminando su un'altra strada, potrebbe diventare un vantaggio nel contenere questa bestia gigante . braccia.

Dopotutto, i modelli della serie Claude di Anthropic sono infinitamente vicini ai modelli di grandi dimensioni della serie GPT di OpenAI in termini di capacità.

Un diverso tipo di conflitto: il “tiranno” Sam Altman e strutture di governo idealistiche

Ciò su cui deve insistere un’altra figura fondamentale, Sam Altman, il fondatore di OpenAI, potrebbe essere più difficile della fede in un’accelerazione efficace.

Innanzitutto, l'archeologia OpenAI, fondata l'11 dicembre 2015. Era pieno di idealismo fin dall’inizio e la sua visione includeva la promozione attiva dello sviluppo dell’intelligenza artificiale generale (AGI) a beneficio di tutta l’umanità, a beneficio di tutti, e la lotta contro il monopolio dell’intelligenza artificiale da parte di grandi aziende o poche persone.

Secondo questa visione, sono stati raccolti fondi da grandi nomi tra cui Elon Musk, e sembra che i finanziatori stiano impegnando miliardi di dollari per far crescere l'organizzazione. In questo momento, OpenAI deve solo preoccuparsi di come realizzare il tuo ideale. Non devi preoccuparti delle necessità quotidiane.

Tuttavia, dopo la pubblicazione del documento Attention is All you need, ormai famoso in tutto il mondo, OpenAI ha intrapreso la strada della legge di scalabilità, che è una strada che richiede un enorme consumo di risorse.

Nel 2019, per ottenere finanziamenti, OpenAI si è rivolta a una struttura ibrida. Sotto la società madre OpenAI Inc. è stata fondata una filiale OpenAI Global, nella quale la partecipazione di Microsoft è stata scambiata con fino al 49% delle azioni di OpenAI Global.

Vale a dire, OpenAI mantiene la sua società madre originale senza scopo di lucro, ma sotto questa società madre viene creata una filiale a scopo di lucro chiamata OpenAI Global. Questa filiale può assorbire il denaro degli investitori di venture capital e le azioni dei dipendenti, il che significa che può raccogliere fondi come una normale azienda.

Tuttavia, OpenAI LP non si è completamente trasformata in una società ordinaria. Ha anche una caratteristica speciale: "catturare profitti". Ciò significa che sebbene possa essere redditizio, esiste un limite. Se il denaro guadagnato supera questo limite, l'eccesso verrà restituito alla società madre senza scopo di lucro. Ciò garantisce che OpenAI LP non si discosti dal suo obiettivo originale di avvantaggiare tutta l'umanità.

Tuttavia esiste il rischio potenziale in una struttura così apparentemente innovativa: che il consiglio di amministrazione dell'organizzazione no-profit OpenAI LP controlli l'organizzazione a scopo di lucro Open AI Global. La missione dell'organizzazione no-profit è il pozzo -essere di tutta l'umanità, non i diritti e gli interessi degli azionisti. Microsoft ottenne il 49% delle azioni, ma non ebbe alcun posto nel consiglio di amministrazione o alcuna voce in capitolo.

Ciò che è ancora più drammatico è che dopo l'espulsione di Altman dal consiglio di amministrazione, il 98% dei dipendenti ha minacciato di dimettersi e ha firmato una lettera aperta chiedendo la sua reintegrazione. Altman ha detto in una successiva intervista: "Questo incidente potrebbe distruggere il patrimonio di tutti e per molti dipendenti questa è tutta o la maggior parte della loro ricchezza".

Il "trambusto" dei dipendenti ordinari per gli interessi più secolari ha sconfitto i grandi e sicuri ideali dell'AGI dei principali fondatori.

Oltre alla struttura di governance di OpenAI, anche lo stile di gestione "controverso" di Sam Altman è stato rivelato online. Ad esempio, Altman ha un metodo che chiama gestione "dinamica", che consiste nel fare le cose senza preavviso, mettere qualcuno in una situazione provvisoria ruolo di leadership e allocare le risorse. Ad esempio, Altman una volta ha improvvisamente promosso un altro ricercatore di intelligenza artificiale Jakub Pachocki alla posizione di direttore della ricerca. L'allora direttore della ricerca Ilya Sutskever ha espresso il suo disagio e ha promesso risorse e responsabilità contemporaneamente a due diversi dirigenti, sebbene l'intenzione originale di Sam fosse quella di innescare concorrenza, ma Ilya ritiene che ciò causerà più conflitti.

Inoltre, lo stile di Sam Altman nelle competizioni è anche più luposco e diretto, come inGPT-4oPrima di andare online, è stato rivelato che non era stato sottoposto a sufficienti test di sicurezza. Le voci dicono che il tempismo fosse stato scelto per fornire una barriera più efficace al concorrente Google.

OpenAI è l’iniziatore di questa ondata di IA generativa ed è sempre stato considerato il leader. Tuttavia, la situazione attuale sta diventando sempre più impegnativa: il mondo intero non vede l’ora di vedere quante altre scoperte OpenAI ha tra le mani, ma allo stesso tempo, non vede l’ora se queste scoperte possano essere trasformate in un vero e proprio prodotto in grado di creare profitti sufficienti - dopo tutto, OpenAI La forza del suo prodotto è sempre stata criticata dall'industria.

Inoltre, secondo le previsioni degli istituti di investimento, OpenAI dovrebbe continuare a perdere denaro quest’anno e continuare a formare modelli più potenti. Anche il modo in cui continuare a finanziare è un problema che OpenAI deve considerare quando la sua capacità ematopoietica non è sufficiente.

L’ambiente competitivo sta diventando sempre più feroce. Non solo i giganti lo circondano, ma Microsoft, il maggiore azionista, ha elencato OpenAI come concorrente nel suo ultimo rapporto finanziario. Deve anche affrontare l’altrettanto potente Antropic.

Dopo il ritorno di Sam Altman, potrebbe sentirsi "solo", e anche il mondo esterno si preoccuperà se questo consiglio di amministrazione, che sembra essere diventato un "guscio vuoto", potrà continuare a mantenere OpenAI al comando.

Tuttavia, un consulente nel campo del capitale di rischio ci ha espresso oggi le seguenti opinioni: "Il management originale di OpenAI era un gruppo di studiosi con splendidi background, integrità e ideali; tuttavia, forse le aziende tecnologiche possono davvero crescere, ma hanno bisogno di un 'Tiranno'". '. Senza un 'tiranno' arbitrario, potrebbe volerci molto tempo per prendere una decisione."

OpenAI sotto la guida del "tiranno" Altman, mi chiedo dove andrà alla fine?

Il segreto dell'ascesa di OpenAI: Ultraman è desideroso di potere fin da quando era bambino e fa affidamento sui suoi contatti per accumulare un'enorme influenza