uutiset

"Tyrant" hallitsee AGI:ta, onko OpenAI matkalla vaaralliseen tulevaisuuteen?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Tencent Technology -kirjailija Guo Xiaojing Hao Boyang

Toimittaja Su Yang

OpenAI:n henkilöstömyllerrys jatkuu tällä kertaaOpenAI Presidentti Greg Brockman, joka tunnustettiin Sam Altamanin uskolliseksi kannattajaksi ja joka oli hänen kanssaan, kun Sam syrjäytettiin hallituksesta, ilmoitti pitkäaikaisesta virkavapaasta. Greg Brockman on itse ilmoittanut palaavansa yritykseen pitkän loman jälkeen. Monet teknologiayritysten johtajat pitävät kuitenkin pitkän loman ennen kuin he lähtevät työstään.

Lisäksi kaksi keskeistä johtajaa joutui lähtemään. Yksi perustajista oli Johnson Schulman. Hän toimi lyhyen aikaa turvallisuustiimin johtajana ennen lähtöään tutkija Jan Leike.

Samaan aikaan Johnson johti myös OpenAI:taGPT Suurien mallien sarjan Post-Training-prosessin voidaan sanoa olevan erittäin kriittinen hahmo teknologian rakentamisessa. Vielä mielenkiintoisempaa on, että eronsa jälkeen hän, kuten Jan Leike, liittyi suoraan Anthropiciin, OpenAI:n vahvimpaan kilpailijaan.

Lisäksi viime vuonna OpenAI:hen liittynyt tuotepäällikkö Peter Deng on myös eronnut, vaikka hän ei ollutkaan perustaja, hän erosi tehtävästään alle vuoden kuluttua liittymisestä, mikä saa myös ulkomaailman spekuloimaan, mitä sille tapahtui. OpenAI-joukkue.

OpenAI:n toinen lahjakkuuksien liikkuvuuden aalto

Jäljellä on enää 3 perustajaa ja yksi on pitkäaikaisella vapaalla.

Tämän muutoksen jälkeen OpenAI:n alkuperäisistä 11 perustajasta vain Sam Altman, Wojciech Zaremba ja Greg Brockman (joka myös ilmoitti pitkäaikaisesta erosta) ovat jääneet OpenAI:hen. Loput perustajajäsenet ovat kaikki jättäneet tiimin.

Näistä 11 perustajasta viisi oli vuosilta 2017–2018, jolloin Musk ilmoitti luopumisestaan, mikä laukaisi myllerryksen OpenAI:ssa. Mukana Trevor Blackwell, Vicki Cheung, Durk Kingma, Pamela Vagata.Toisen perustajajäsenen Andrej Karpathyn salametsästettiin myös suoraan Muskilta toimiakseen Teslan edustajana.Autopilotti rehtori. Hän palasi OpenAI:hen vasta helmikuussa 2023.

Loput kuusi perustajajäsentä erosivat tänä vuonna OpenAI:n oikeustaistelun jälkeen viime vuoden lopulla. Mukaan lukien OpenAI:n entinen päätutkija Ilja Sutskever, edellä mainittu John Schulman ja vain vuodeksi palannut tiedemies Andrej Karpathy. Voidaan sanoa, että vuosi 2024 tulee olemaan suurin muutos, jonka OpenAI on kokenut Musk-kriisin jälkeen.

Mihin kaikki OpenAI:sta lähteneet työntekijät ovat kadonneet?

OpenAI:sta lähtevien työntekijöiden olinpaikasta päätellen he valitsevat yleensä kaksi tietä. Yksi on liittyä kilpaileviin yrityksiin, periaatteessa Deepmind ja Anthrophic. Toinen on oman yrityksen perustaminen Valtaosa edellä mainituista irtisanoutuneista työntekijöistä (66 %) on päättänyt liittyä uusiin yrittäjyysprojekteihin.

Tämä valinta itse asiassa synnytti niin sanotun "OpenAI-mafian". Mediatietojen mukaan lähes 30 työntekijää oli lähtenyt OpenAI:sta ennen tätä vuotta ja perustanut oman tekoälyyrityksen. Monet heistä ovat saavuttaneet yksisarvisen tason. Niistä tunnetuin on Dario Amodein perustama Anthrophic, josta on tullut OpenAI:n tehokkain kilpailija.

Mikä vaikutus tällä erolla on?

Informationin aiemmin julkistaman arkkitehtuurikaavion mukaan tällä kertaa henkilöstömuutoksen kohteena olevat kolme henkilöä ovat kaikki OpenAI:n ydinjohtajia. Toiminnallisesta näkökulmasta sekä Brockman että Shulman raportoivat Mira Muratille, OpenAI:n teknologiajohtajalle (Gregin pitäisi myös olla vastuussa lisätyöstä puheenjohtajana ja hallituksen jäsenenä), ja Peter Dengin, joka on käyttäjätuotteiden varapääjohtaja, pitäisi olla raportoinnin kolmas taso. Heidän vastuullaan oleva työ kuuluu pohjimmiltaan OpenAI:n tekniseen ydintyöhön. Näiden muutosten vaikutusta ei voida sanoa vähäisiksi. Todennäköisesti kolme 40:stä ylemmästä johdosta on vaihtunut.

Mutta itse asiassa, kun tarkastellaan kolmen vastuuhenkilön erityistä sisältöä, se ei välttämättä liity tällä hetkellä OpenAI:n uuden mallin kehitysytimeen. OpenAI:n aiemman virallisen blogin mukaan Greg Brockman tulee toimimaan presidenttinä vuodesta 2022, ja tuolloin hän keskittyi OpenAI:n lippulaivan tekoälyjärjestelmän kouluttamiseen. Mutta itse asiassa GPT-4:n jälkeen nykyinen päätutkija Jakub Pachocki on johtanut GPT-4:n ja OpenAI Fiven kehitystä.

Shulman oli kerran vastuussa OpenAI:n koulutuksen jälkeisestä osasta ja ehdotti Proximal Policy Optimization (PPO) -algoritmia. Tämä on joukko ydinstrategiaalgoritmeja suurten kielimallien parantamiseksi, ja se on myös yksi OpenAI:n tähän asti käyttämistä pääalgoritmeista. Illya erottuaan kuitenkin hänestä vaihtui Super Alignmentin vastuuhenkilöksi, ja hänen nykyisen vaikutuksensa GPT-5-projektiin arvioidaan olevan hyvin rajallinen.

Tuotevastuujohtaja Peter Deng vastaa asiakkaiden tuotteista, ja hänellä on rajallinen kokonaissuhde GPT-5:n ydinkehitystyöhön.

Voidaan periaatteessa vahvistaa, että tutkimusjohtaja Bob MacGrew ja johtava tutkija Jakub Pachocku ovat kriittisimmät hahmot uuden mallin kehittämisessä.

Lisäksi OpenAI:n päähenkilöt, jotka saattavat edistää teknologista innovaatiota, eivät ole enää ylimmät johtajat, vaan jotkut ruohonjuuritason tutkijat. Esimerkiksi entinen Stability AI:n toimitusjohtaja Emad sanoi X:ssä, että vain Alec Radfordin ero voi määrittää OpenAI:n romahtamisen.

Näemme hänen painonsa myös etsimällä lainausten määrää Scholarin kirjoituksista Googlessa.

Tästä syystä eron vaikutus OpenAI:n tutkimuksen edistymiseen voi olla rajallinen. Suurin vaikutus on tiimin sisäiseen moraaliin ja ulkoiseen luottamukseen yritystä kohtaan.

Loppujen lopuksi pomon, joka ei voi pitää edes parhaita ystäviään ja joka on eliminoinut kaikki Lianchuangin yritykset, on vaikea saada luottamusta johtamiskykyihinsä.

Ristiriita-arvaukset

Poistettavat avainsanat: Super Alignment

OpenAI:n Super Alignment Project perustettiin kesäkuussa 2023. Se aikoo investoida 20 % laskentatehosta seuraavien neljän vuoden aikana rakentaakseen ihmisen tasoa vastaavan automaattisen kohdistustutkijan, joka käyttää tekoälyn valvontaa ratkaisemaan korkeamman tason älykkäiden järjestelmien ja ihmisten ongelman. Tavoitteiden johdonmukaisuusongelmat. "Super Alignment" -tiimiä johtavat yhdessä OpenAI:n perustaja ja johtava tutkija Ilya Sutskever ja tutkija Jan Leike.

Ilja Sutskeverin voidaan sanoa olevan yksi OpenAI:n sieluhahmoista. Kun "Attention is all you need" -paperi julkaistiin vuonna 2017, joka herätti suurta huomiota alalla, Ilja tuki sitä täysin.MuuntajaArkkitehtuurin suuntaan, ja sitten johti kehitystä GPT ja Vincentian DALL-E-sarjan malleja.

Ilya oli myös Geoffrey Hintonin opiskelija, joka tunnetaan "syvän oppimisen isänä". Hän suoritti perustutkinto- ja jatko-opinnot Hintonin ohjauksessa ja sai lopulta tietojenkäsittelytieteen tohtorin. Hinton on myös varoittanut, että tekoälyn nopea kehitys voi tuoda uhkia ihmisälyä pidemmälle.

Vuoden 2023 lopulla "OpenAI Palace Fight" -tapahtumana tunnetun tapauksen sai lopulta väliaikaisen lopun Iljan lähdön ja Sam Altmanin paluuseen. Kiista jatkuu kuitenkin tähän päivään asti. Suurin ulkomaailman spekulaatio on, että OpenAI:ssa on sisäisiä eroja, ja vielä suurempi on valtava uskomusten ristiriita.

Sam Altmanin taustasta ja käytöksestä päätellen teollisuudessa on taipumus pitää häntä e/acc:n (effective accelerationismin) uskovana, koska uskotaan, että teknologian kehitys on oleellisesti hyödyllistä ihmiskunnalle ja että ihmiskunnan tulisi investoida mahdollisimman paljon resursseja. muuttaa nykyistä yhteiskuntarakennetta. Vastaavasti mitä OpenAI on tehnyt, se voidaan tiivistää yksinkertaisesti ja karkeasti taloudellisten resurssien ja resurssien keskittämiseksi AGI:n läpimurtamiseen täydellä nopeudella.

Superlinjaus ja tehokas kiihtyvyys eivät ole pohjimmiltaan enää reittitaistelua, vaan valtavaa sisäisten uskomusten ristiriitaa. Toukokuussa 2024 Jan Leike ilmoitti myös eroavansa, ja hän julkaisi sosiaalisessa mediassa Vaarallista työtä, mutta viime vuosina tekoälyn tietoturva on väistänyt kiiltäviä tuotteita saavutti vihdoin pisteen, josta ei ole paluuta."

Jan Leiken eron myötä alkuperäinen Super Alignment -tiimi on käytännössä tullut päätökseen. Loput jäsenet integroitiin turvatiimiin, jota johti Johnson Schulman Juuri tänään myös Johnson Schulman ilmoitti lähtevänsä.

Erittäin kiehtovaa on, että sekä Jan Leike että Johnson Schulman menivät Anthropiciin, jolla voidaan sanoa olevan samat juuret kuin OpenAI:lla. Anthropicin perustaja on myös OpenAI:n entinen ydintyöntekijä Dario Amodei. Sanotaan, että kun Dario lähti jo vuonna 2020, syynä oli tekoälyn turvallisuus.

Dario lanseerasi Antropicissa Constitutional AI:n, menetelmän tekoälymallien kouluttamiseen, joka ohjaa tekoälyjärjestelmien käyttäytymistä selkeiden käyttäytymisperiaatteiden avulla sen sijaan, että luottaisi ihmisten palautteeseen arvioidakseen vastauksia. Tämän lähestymistavan ydin on käyttää tekoälyjärjestelmää itse auttamaan muiden tekoälyjärjestelmien valvonnassa, mikä parantaa tekoälyn vaarattomuutta ja hyödyllisyyttä samalla kun laajentaa valvonnan skaalaa.

Dario korosti, että Constitutional AI:n pääideana on käyttää tekoälyjärjestelmiä auttamaan muiden tekoälyjärjestelmien valvonnassa, mikä laajentaa valvonnan mittakaavaa ja parantaa tekoälyn vaarattomuutta ja hyödyllisyyttä. Perustuslaillisen tekoälyn prosessi sisältää vaiheita, kuten itsekritiikkiä, korjausta, ohjattua oppimista ja vahvistusta oppimista, sekä sarjan luonnolliseen kieleen perustuvia perustuslaillisia periaatteita tekoälyn käyttäytymisen rajoittamiseksi.

Onko se hyvin samankaltainen kuin Iljan superlinjaiset ajatukset?

Näyttää siltä, ​​että sen jälkeen OpenAI:sta ja Anthropicista on tullut erilaisia ​​edustajia kahdesta uskomuksesta, tehokkaasta akcelerationismista ja super-alignmentismista tekoälyn alalla.

Aiemmin jotkut huomauttivat huolestuneena, että Iljan poistuminen saattaa johtua siitä, että hän näki joidenkin OpenAI:n tekniikoiden olevan käsistä. Jos näin todella on, toisella tiellä kulkevasta Anthropicista voi tulla etu tämän jättimäisen pedon hillitsemisessä. .

Loppujen lopuksi Anthropicin Claude-sarjan mallit ovat ominaisuuksiltaan äärettömän lähellä OpenAI:n GPT-sarjan suuria malleja.

Erilainen konflikti: "Tyrani" Sam Altman ja idealistiset hallintorakenteet

Se, mitä toisen ydinhahmon, Sam Altmanin, OpenAI:n perustajan, on vaadittava, voi olla vaikeampaa kuin usko tehokkaaseen kiihtyvyyteen.

Ensin arkeologia OpenAI, perustettiin 11. joulukuuta 2015. Se oli alusta asti täynnä idealismia, ja sen visioon kuului aktiivisesti koko ihmiskuntaa hyödyttävän yleisen tekoälyn (AGI) kehittämisen edistäminen, joka hyödyttää kaikkia, sekä taistella suurten yritysten tai muutaman ihmisen tekoälyn monopolia vastaan.

Tämän vision mukaisesti rahaa on kerätty suurilta nimiltä, ​​mukaan lukien Elon Musk, ja rahoittajat näyttävät sitovan miljardeja dollareita organisaatiolle sen kasvaessa murehtia päivittäisiä tarpeita.

Nyt maailmankuulun Attention is All you need -paperin ilmestymisen jälkeen OpenAI kuitenkin valitsi Scaling Law -reitin, joka vaatii valtavasti resurssien kulutusta.

Vuonna 2019 OpenAI kääntyi rahoituksen saamiseksi hybridirakenteeseen Emoyhtiö OpenAI Inc:n alaisuudessa perustettiin tytäryhtiö OpenAI Global, jossa Microsoftin sijoitus vaihdettiin jopa 49 %:iin OpenAI Globalin osakkeista.

Toisin sanoen OpenAI säilyttää alkuperäisen voittoa tavoittelemattoman emoyhtiönsä, mutta tämän emoyhtiön alaisuudessa luodaan voittoa tavoitteleva tytäryhtiö OpenAI Global. Tämä tytäryhtiö voi ottaa vastaan ​​pääomasijoittajien rahoja ja työntekijöiden osakkeita, mikä tarkoittaa, että se voi kerätä varoja tavallisen yrityksen tavoin.

OpenAI LP ei kuitenkaan ole täysin muuttunut tavalliseksi yritykseksi. Siinä on myös erikoisominaisuus, joka on "vangittu voitto". Tämä tarkoittaa, että vaikka se voi olla kannattavaa, sillä on raja. Jos ansaitut rahat ylittävät tämän rajan, ylijäämä palautetaan voittoa tavoittelemattomalle emoyhtiölle. Näin varmistetaan, että OpenAI LP ei poikkea alkuperäisestä tavoitteestaan ​​hyödyttää koko ihmiskuntaa.

Tällaisessa näennäisesti innovatiivisessa rakenteessa on kuitenkin potentiaalinen riski, että voittoa tavoittelemattoman OpenAI LP:n hallitus ohjaa voittoa tavoittelevaa organisaatiota Open AI Globalin voittoa tavoittelemattoman organisaation tehtävä on kaivo -koko ihmiskunnan oleminen, ei osakkeenomistajien oikeudet ja edut. Microsoft sai 49 prosenttia osakkeista, mutta sillä ei ollut paikkoja hallituksessa tai sananvaltaa.

Vielä dramaattisempaa on, että sen jälkeen, kun Altman erotettiin hallituksesta, 98 % työntekijöistä uhkasi erota ja allekirjoitti avoimen kirjeen, jossa vaadittiin hänen ottamista takaisin. Altman sanoi myöhemmässä haastattelussa: "Tämä tapaus voi tuhota jokaisen oman pääoman, ja monille työntekijöille tämä on kaikki tai suurin osa heidän omaisuudestaan."

Tavallisten työntekijöiden "touhu" maallisimpien etujen puolesta kukisti ydinperustajien suuret turvallisuus-AGI-ihanteet.

OpenAI:n hallintorakenteen lisäksi myös Sam Altmanin tietty "kiistanalainen" johtamistyyli on paljastunut verkossa. Esimerkiksi Altmanilla on menetelmä, jota hän kutsuu "dynaamiseksi" johtamiseksi, mikä on laittaa joku väliin johtajuuden ja jakamaan resursseja. Esimerkiksi Altman ylensi kerran yhtäkkiä toisen tekoälytutkijan Jakub Pachockin tutkimusjohtajaksi. Silloinen tutkimusjohtaja Ilja Sutskever ilmaisi levottomuutensa ja lupasi resursseja ja vastuuta kahdelle eri johtajalle samanaikaisesti , Mutta Ilja uskoo, että tämä aiheuttaa lisää konflikteja.

Lisäksi Sam Altmanin tyyli kilpailussa on myös sudellisempaa ja suoraviivaisempaa, kuten inGPT-4oEnnen verkkoon siirtymistä paljastettiin, että se ei ollut läpikäynyt riittävää turvatestausta Huhujen mukaan ajoitus valittiin tehokkaammaksi esteeksi kilpailijalle Googlelle.

OpenAI on tämän generatiivisen tekoälyn aallon sytyttäjä, ja sitä on aina pidetty johtajana. Nykytilanne on kuitenkin muuttumassa yhä haastavammaksi: koko maailma odottaa innolla, kuinka monta läpimurtoa OpenAI:lla on käsissään, mutta samalla se odottaa myös, voidaanko nämä läpimurrot muuttaa todelliseksi tuotteeksi. joka voi tuottaa tarpeeksi voittoa - loppujen lopuksi OpenAI Sen tuotteen vahvuutta on aina kritisoitu alalta.

Lisäksi sijoitusinstituutioiden ennusteiden mukaan OpenAI:n odotetaan jatkavan tappioita tänä vuonna ja jatkuvan tehokkaampien mallien kouluttamisessa. Kuinka jatkaa rahoitusta on myös pohdittava, kun sen hematopoieettinen kapasiteetti ei riitä.

Kilpailuympäristö muuttuu yhä kireämmäksi. Sen ympärillä ei ole vain jättiläisiä, vaan myös suurin osakkeenomistaja Microsoft on listannut OpenAI:n viimeisimmässä talousraportissaan.

Sam Altmanin palattua hänestä saattaa tulla "yksinäinen", ja myös ulkopuolinen maailma on huolissaan siitä, pystyykö tämä "tyhjäksi kuoreksi" muuttuneen hallitus jatkaa OpenAI:n johtajuutta.

Kuitenkin riskipääoman alan konsultti ilmaisi meille tänään seuraavat näkemykset: "OpenAI:n alkuperäinen johto oli joukko tutkijoita, joilla oli upea tausta, rehellisyys ja ihanteet; ehkä teknologiayritykset voivat kuitenkin todella kasvaa, mutta he tarvitsevat "Tyrannin" Ilman mielivaltaista "tyrannia" päätöksen tekeminen voi viedä kauan."

OpenAI "tyranni" Altmanin johdolla, ihmettelen, mihin se lopulta menee?

OpenAI:n nousun salaisuus: Ultraman on halunnut valtaa pienestä pitäen ja luottaa yhteyksiinsä kerätäkseen valtavasti vaikutusvaltaa