Nachricht

„Tyrant“ dominiert AGI, steuert OpenAI auf eine gefährliche Zukunft zu?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Tencent Technology Autor Guo Xiaojing Hao Boyang

Herausgeber Su Yang

Der personelle Aufruhr bei OpenAI geht dieses Mal weiterOpenAI Präsident Greg Brockman – bekannt als treuer Unterstützer von Sam Altaman und der bei ihm war, als Sam aus dem Vorstand verdrängt wurde – kündigte eine langfristige Beurlaubung an. Greg Brockman selbst hat angekündigt, nach einem langen Urlaub in das Unternehmen zurückzukehren. Allerdings werden viele leitende Angestellte von Technologieunternehmen einen langen Urlaub nehmen, bevor sie ihren Job aufgeben. Es ist schwierig, dass sein Vorgehen keine weiteren Spekulationen hervorruft.

Darüber hinaus wurde bekannt, dass zwei wichtige Führungskräfte das Unternehmen verlassen mussten. Einer davon war Johnson Schulman. Er fungierte kurzzeitig als Leiter des Sicherheitsteams, bevor er das Team verließ Forscher Jan Leike.

Gleichzeitig leitete Johnson auch OpenAIGPT Man kann sagen, dass der Post-Training-Prozess einer Reihe großer Modelle eine sehr kritische Figur im Technologieaufbau ist. Noch faszinierender ist, dass er nach seinem Rücktritt wie Jan Leike direkt zu Anthropic wechselte, dem stärksten Konkurrenten von OpenAI.

Darüber hinaus ist auch Peter Deng, der Produktmanager, der letztes Jahr zu OpenAI kam, zurückgetreten. Obwohl er kein Mitbegründer war, trat er weniger als ein Jahr nach seinem Beitritt zurück, was auch die Außenwelt zu Spekulationen darüber anregen wird, was mit dem passiert ist OpenAI-Team.

OpenAIs zweite Welle der Talentmobilität

Es sind nur noch drei Gründer übrig und einer befindet sich im Langzeiturlaub.

Nach dieser Änderung bleiben von den ursprünglich elf Mitbegründern von OpenAI nur noch Sam Altman, Wojciech Zaremba und Greg Brockman (der ebenfalls einen langfristigen Urlaub angekündigt hat) bei OpenAI. Die übrigen Gründungsmitglieder haben das Team alle verlassen.

Fünf dieser elf Gründer waren von 2017 bis 2018, als Musk seine Veräußerung ankündigte, was eine Welle des Aufruhrs bei OpenAI auslöste. Darunter Trevor Blackwell, Vicki Cheung, Durk Kingma, Pamela Vagata.Andrej Karpathy, ein weiteres Gründungsmitglied, wurde ebenfalls direkt von Musk abgeworben, um für Tesla zu fungierenAutopilot Rektor. Er kehrte erst im Februar 2023 zu OpenAI zurück.

Die verbleibenden sechs Gründungsmitglieder sind dieses Jahr nach dem Gerichtsstreit von OpenAI Ende letzten Jahres alle zurückgetreten. Darunter der ehemalige Chefwissenschaftler von OpenAI Ilya Sutskever, der bereits erwähnte John Schulman und der Wissenschaftler Andrej Karpathy, der nur für ein Jahr zurückkehrte. Man kann sagen, dass das Jahr 2024 die größte Veränderung im Führungspersonal sein wird, die OpenAI seit der Musk-Krise erlebt hat.

Wo sind all die Mitarbeiter geblieben, die OpenAI verlassen haben?

Gemessen am Verbleib der Mitarbeiter, die OpenAI verlassen, gehen sie im Allgemeinen zwei Wege. Eine besteht darin, sich konkurrierenden Unternehmen anzuschließen, im Wesentlichen Deepmind und Anthrophic. Die zweite Möglichkeit besteht darin, ein eigenes Unternehmen zu gründen. Die überwiegende Mehrheit der oben genannten gekündigten Mitarbeiter (66 %) hat sich für den Einstieg in neue unternehmerische Projekte entschieden.

Diese Entscheidung brachte tatsächlich die sogenannte „OpenAI-Mafia“ hervor. Medienberichten zufolge hatten bereits vor diesem Jahr knapp 30 Mitarbeiter OpenAI verlassen und eigene KI-Unternehmen gegründet. Einige von ihnen haben das Einhorn-Level erreicht. Das bekannteste unter ihnen ist Anthrophic, gegründet von Dario Amodei, das sich zum stärksten Konkurrenten von OpenAI entwickelt hat.

Welche Auswirkungen hat dieser Rücktritt?

Laut dem zuvor von Information veröffentlichten Architekturdiagramm handelt es sich bei den drei Personen, die dieses Mal personelle Veränderungen durchmachen, allesamt um Kernmanager von OpenAI. Aus funktionaler Sicht berichten sowohl Brockman als auch Shulman an Mira Murati, CTO von OpenAI (Greg sollte auch für die zusätzliche Arbeit als Vorsitzender und Vorstandsmitglied verantwortlich sein), und Peter Deng, der Vizepräsident für Benutzerprodukte, sollte dabei sein die dritte Ebene der Berichterstattung. Die von ihnen verantworteten Arbeiten gehören grundsätzlich zur technischen Kernarbeit von OpenAI. Die Auswirkungen dieser Veränderungen können nicht als unerheblich bezeichnet werden. Wahrscheinlich wurden drei der 40 leitenden Angestellten ersetzt.

Wenn man sich jedoch die spezifischen Inhalte der drei Verantwortlichen ansieht, kann es sein, dass sie derzeit nicht wirklich mit dem Entwicklungskern des neuen Modells von OpenAI zusammenhängen. Laut dem früheren offiziellen Blog von OpenAI wird Greg Brockman ab 2022 als Präsident fungieren, und zu diesem Zeitpunkt konzentrierte er sich auf die Schulung des Flaggschiff-KI-Systems von OpenAI. Tatsächlich leitet jedoch seit GPT-4 der derzeitige Chefwissenschaftler Jakub Pachocki die Entwicklung von GPT-4 und OpenAI Five.

Shulman war einst für den Post-Training-Teil von OpenAI verantwortlich und schlug den Proximal Policy Optimization (PPO)-Algorithmus vor. Hierbei handelt es sich um eine Reihe zentraler Strategiealgorithmen zur Verbesserung großer Sprachmodelle, und es handelt sich auch um einen der bisher wichtigsten Algorithmen, die OpenAI verwendet hat. Nachdem Illya jedoch zurückgetreten war, wurde er zum Verantwortlichen für Super Alignment ernannt, und sein derzeitiger Einfluss auf das GPT-5-Projekt wird als sehr begrenzt eingeschätzt.

Peter Deng, VP of Product Responsible, ist für Kundenprodukte verantwortlich und hat insgesamt nur begrenzte Beziehungen zur Kernentwicklungsarbeit von GPT-5.

Grundsätzlich lässt sich bestätigen, dass Forschungsvizepräsident Bob MacGrew und Chefwissenschaftler Jakub Pachocku die kritischsten Figuren bei der Entwicklung des neuen Modells sind.

Darüber hinaus sind die Hauptfiguren innerhalb von OpenAI, die möglicherweise technologische Innovationen vorantreiben, nicht mehr leitende Angestellte, sondern einige Basisforscher. Beispielsweise sagte Emad, ehemaliger CEO von Stability AI, auf X, dass nur der Rücktritt von Alec Radford über den Zusammenbruch von OpenAI entscheiden könne.

Wir können sein Gewicht auch sehen, indem wir bei Google nach der Anzahl der Zitate in Scholars Arbeiten suchen.

Daher sind die Auswirkungen dieses Rücktritts auf den Forschungsfortschritt von OpenAI möglicherweise begrenzt. Die Hauptauswirkungen liegen auf der internen Moral des Teams und dem externen Vertrauen in das Unternehmen.

Schließlich wird es einem Chef, der nicht einmal seine besten Freunde behalten kann und alle Lianchuang-Unternehmen eliminiert hat, schwerfallen, Vertrauen in seine Managementfähigkeiten zu gewinnen.

Konfliktschlüsselvermutungen

Schlüsselwörter zum Verlassen: Super Alignment

Das Super Alignment Project von OpenAI wurde im Juni 2023 ins Leben gerufen. Es plant, in den nächsten vier Jahren 20 % der Rechenleistung zu investieren, um einen automatischen Alignment-Forscher aufzubauen, der der menschlichen Ebene entspricht und KI-Überwachung nutzt, um das Problem höherer intelligenter Systeme und Menschen zu lösen. Probleme mit der Zielkonsistenz. Das „Super Alignment“-Team wird gemeinsam von OpenAI-Mitbegründer und Chefwissenschaftler Ilya Sutskever und dem Forscher Jan Leike geleitet.

Ilya Sutskever kann als eine der Seelenfiguren von OpenAI bezeichnet werden, als im Jahr 2017 das Papier „Attention is all you need“ veröffentlicht wurde, das in der Branche große Aufmerksamkeit erregte.TransformatorArchitekturleitung und leitete dann die Entwicklung der Modelle der GPT- und Vincentian DALL-E-Serie.

Ilya war auch ein Schüler von Geoffrey Hinton, der als „Vater des Deep Learning“ bekannt ist. Er schloss sein Bachelor- und Masterstudium unter Hintons Anleitung ab und promovierte schließlich in Informatik. Hinton hat auch davor gewarnt, dass die rasante Entwicklung der künstlichen Intelligenz Bedrohungen mit sich bringen könnte, die über die menschliche Intelligenz hinausgehen.

Ende 2023 wurde der als „OpenAI Palace Fight“ bekannte Vorfall durch Ilyas Weggang und Sam Altmans Rückkehr endgültig vorläufig beendet. Die Kontroverse dauert jedoch bis heute an. Die größte Spekulation von außen ist, dass es interne Unterschiede innerhalb von OpenAI gibt, und noch größer ist der enorme Glaubenskonflikt.

Nach Sam Altmans Hintergrund und Verhalten zu urteilen, neigt die Branche dazu, ihn als Anhänger von e/acc (effektiver Akzelerationismus) zu betrachten, da er davon überzeugt ist, dass die Entwicklung von Technologie im Wesentlichen für die Menschheit von Vorteil ist und die Menschheit so viele Ressourcen wie möglich investieren sollte, um Innovationen zu beschleunigen die bestehende soziale Struktur verändern. Entsprechend dem, was OpenAI getan hat, lässt es sich einfach und grob so zusammenfassen, dass finanzielle Ressourcen und Ressourcen konzentriert werden, um AGI mit voller Geschwindigkeit zu durchbrechen.

Superausrichtung und effektive Beschleunigung sind im Wesentlichen kein Kampf der Routen mehr, sondern ein gewaltiger Konflikt innerer Überzeugungen. Im Mai 2024 kündigte auch Jan Leike seinen Rücktritt an. Als er zurücktrat, postete er in den sozialen Medien gefährliche Arbeit, aber in den letzten Jahren ist die KI-Sicherheit den glänzenden Produkten gewichen endlich den Punkt erreicht, an dem es kein Zurück mehr gibt.“

Mit dem Rücktritt von Jan Leike ist das ursprüngliche Super Alignment-Team praktisch am Ende. Die verbleibenden Mitglieder wurden in das Sicherheitsteam unter der Leitung von Johnson Schulman integriert. Erst heute gab Johnson Schulman seinen Abschied bekannt.

Was sehr faszinierend ist, ist, dass sowohl Jan Leike als auch Johnson Schulman sich für Anthropic entschieden haben, von dem man sagen kann, dass es dieselben Wurzeln wie OpenAI hat. Der Gründer von Anthropic ist auch Dario Amodei, ein ehemaliger Kernmitarbeiter von OpenAI. Als Dario bereits 2020 ausstieg, geschah dies angeblich wegen KI-Sicherheitsproblemen.

Dario hat bei Antropic Constitutional AI eingeführt, eine Methode zum Trainieren von KI-Modellen, die das Verhalten von KI-Systemen durch klare Verhaltensprinzipien steuert, anstatt sich bei der Bewertung von Reaktionen auf menschliches Feedback zu verlassen. Der Kern dieses Ansatzes besteht darin, das KI-System selbst zu nutzen, um die Überwachung anderer KI-Systeme zu unterstützen, um die Unbedenklichkeit und Nützlichkeit der KI zu verbessern und gleichzeitig den Umfang der Überwachung zu erweitern.

Dario betonte, dass die Hauptidee der konstitutionellen KI darin besteht, KI-Systeme zur Unterstützung der Überwachung anderer KI-Systeme zu nutzen, wodurch der Umfang der Überwachung erweitert und die Unbedenklichkeit und Nützlichkeit der KI verbessert wird. Der Prozess der konstitutionellen KI umfasst Schritte wie Selbstkritik, Korrektur, überwachtes Lernen und verstärkendes Lernen sowie eine Reihe konstitutioneller Prinzipien, die auf natürlicher Sprache basieren, um das Verhalten der KI einzuschränken.

Ist es Ilyas superausgerichteten Gedanken sehr ähnlich?

Es scheint, dass OpenAI und Anthropic seitdem unterschiedliche Vertreter der beiden Überzeugungen eines effektiven Akzelerationismus und Super-Alignmentismus im Bereich der KI geworden sind.

Zuvor hatten einige Leute besorgt darauf hingewiesen, dass Ilyas Abgang möglicherweise darauf zurückzuführen sei, dass er sah, dass einige der OpenAI-Technologien außer Kontrolle geraten seien. Wenn dies wirklich der Fall sei, könnte Anthropic, das einen anderen Weg geht, ein Vorteil bei der Eindämmung dieses riesigen Biests werden . Waffen.

Schließlich sind die Modelle der Claude-Serie von Anthropic hinsichtlich ihrer Fähigkeiten den großen Modellen der GPT-Serie von OpenAI unendlich nahe.

Ein Konflikt der anderen Art: „Tyrann“ Sam Altman und idealistische Regierungsstrukturen

Worauf eine andere Kernfigur, Sam Altman, der Gründer von OpenAI, bestehen muss, ist möglicherweise schwieriger als der Glaube an eine effektive Beschleunigung.

Erstens, Archäologie OpenAI, gegründet am 11. Dezember 2015. Es war von Anfang an voller Idealismus und zu seiner Vision gehörte es, die Entwicklung einer allgemeinen künstlichen Intelligenz (AGI) aktiv voranzutreiben, die der gesamten Menschheit zugute kommt und allen zugute kommt, und das Monopol großer Unternehmen oder einiger weniger Menschen auf künstliche Intelligenz zu bekämpfen.

Im Rahmen dieser Vision wurden Gelder von großen Namen wie Elon Musk gesammelt, und die Geldgeber scheinen der Organisation Milliarden von Dollar zur Verfügung zu stellen. Derzeit muss sich OpenAI nur darum kümmern, wie man seine Ideale erreicht Sorgen Sie sich um die Dinge des täglichen Bedarfs.

Nachdem jedoch das mittlerweile weltberühmte Papier „Attention is All you need“ erschienen war, schlug OpenAI den Weg des Skalierungsgesetzes ein, der einen enormen Ressourcenverbrauch erfordert.

Um eine Finanzierung zu erhalten, wandte sich OpenAI 2019 einer Hybridstruktur zu. Unter der Muttergesellschaft OpenAI Inc. wurde eine Tochtergesellschaft OpenAI Global gegründet, bei der die Beteiligung von Microsoft gegen bis zu 49 % der Anteile von OpenAI Global eingetauscht wurde.

Das heißt, OpenAI behält seine ursprüngliche gemeinnützige Muttergesellschaft, aber unter dieser Muttergesellschaft wird eine gewinnorientierte Tochtergesellschaft namens OpenAI Global gegründet. Diese Tochtergesellschaft kann das Geld von Risikokapitalgebern und Mitarbeiteranteile aufnehmen und somit wie ein gewöhnliches Unternehmen Mittel beschaffen.

OpenAI LP hat sich jedoch nicht vollständig zu einem gewöhnlichen Unternehmen entwickelt. Es verfügt auch über eine Besonderheit: „Gewinne erwirtschaftet“. Das bedeutet, dass es zwar profitabel sein kann, es aber eine Grenze gibt. Wenn das verdiente Geld diese Grenze überschreitet, wird der Überschuss an die gemeinnützige Muttergesellschaft zurückerstattet. Dadurch wird sichergestellt, dass OpenAI LP nicht von seinem ursprünglichen Ziel abweicht, der gesamten Menschheit zu helfen.

Allerdings besteht in einer solch scheinbar innovativen Struktur ein potenzielles Risiko, nämlich dass der Vorstand der gemeinnützigen Organisation OpenAI LP die gewinnorientierte Organisation Open AI Global kontrolliert -Sein der gesamten Menschheit, nicht die Rechte und Interessen der Aktionäre. Microsoft erhielt 49 % der Anteile, hatte jedoch keine Sitze im Vorstand oder Mitspracherecht.

Noch dramatischer ist, dass nach Altmans Ausschluss aus dem Vorstand 98 % der Mitarbeiter mit Rücktritt drohten und einen offenen Brief unterzeichneten, in dem sie seine Wiedereinstellung forderten. Altman sagte in einem späteren Interview: „Dieser Vorfall kann das Eigenkapital aller zerstören, und für viele Mitarbeiter ist dies ihr gesamtes oder ein Großteil ihres Vermögens.“

Der „Eifer“ der einfachen Angestellten für die säkularsten Interessen vereitelte die großen Sicherheitsideale der AGI-Kerngründer.

Zusätzlich zur Governance-Struktur von OpenAI wurde auch Sam Altmans gewisser „kontroverser“ Managementstil online enthüllt. Altman nennt beispielsweise eine Methode, die darin besteht, Dinge ohne Vorwarnung zu erledigen und jemanden in eine Übergangsphase zu versetzen Führungsrolle übernehmen und Ressourcen zuweisen. So beförderte Altman beispielsweise plötzlich einen anderen Forscher für künstliche Intelligenz, Jakub Pachocki, zum Forschungsdirektor. Der damalige Forschungsdirektor Ilya Sutskever äußerte sein Unbehagen und versprach Ressourcen und Verantwortlichkeiten gleichzeitig für zwei verschiedene Führungskräfte Aber Ilya glaubt, dass dies zu weiteren Konflikten führen wird.

Darüber hinaus ist Sam Altmans Stil im Wettbewerb auch wölfischer und direkter, wie zum Beispiel inGPT-4oBevor es online ging, stellte sich heraus, dass es keinen ausreichenden Sicherheitstests unterzogen worden war. Gerüchten zufolge wurde der Zeitpunkt gewählt, um dem Konkurrenten Google eine wirksamere Barriere zu bieten.

OpenAI ist der Zünder dieser Welle generativer KI und gilt seit jeher als Vorreiter. Die aktuelle Situation wird jedoch immer herausfordernder: Die ganze Welt freut sich darauf, wie viele Durchbrüche OpenAI in ihren Händen hat, aber gleichzeitig auch darauf, ob diese Durchbrüche in ein echtes Produkt umgewandelt werden können Das kann genügend Gewinne generieren – schließlich wurde die Produktstärke von OpenAI immer von der Branche kritisiert.

Darüber hinaus wird OpenAI nach Prognosen von Investmentinstituten in diesem Jahr voraussichtlich weiterhin Geld verlieren und weiterhin leistungsfähigere Modelle trainieren. Auch die Frage, wie die Finanzierung fortgesetzt werden kann, ist ein Thema, das OpenAI berücksichtigen muss, wenn seine hämatopoetische Kapazität nicht ausreicht.

Das Wettbewerbsumfeld wird nicht nur von Giganten umringt, auch Microsoft, der größte Anteilseigner, hat OpenAI in seinem neuesten Finanzbericht als Konkurrenten aufgeführt. Es muss sich auch dem ebenso mächtigen Antropic stellen.

Nach der Rückkehr von Sam Altman könnte er „einsam“ werden, und auch die Außenwelt wird sich Sorgen machen, ob dieser Vorstand, der zu einer „leeren Hülle“ geworden zu sein scheint, OpenAI weiterhin an der Spitze halten kann.

Ein Berater im Bereich Risikokapital äußerte uns heute jedoch folgende Ansichten: „Das ursprüngliche Management von OpenAI bestand aus einer Gruppe von Wissenschaftlern mit großartigem Hintergrund, Integrität und Idealen; Technologieunternehmen können jedoch vielleicht wirklich wachsen, aber sie brauchen einen Tyrannen.“ „Ohne einen willkürlichen ‚Tyrannen‘ kann es lange dauern, eine Entscheidung zu treffen.“

OpenAI unter der Führung von „Tyrann“ Altman, ich frage mich, wohin es letztendlich führen wird?

Das Geheimnis des Aufstiegs von OpenAI: Ultraman strebt seit seiner Kindheit nach Macht und verlässt sich auf seine Verbindungen, um großen Einfluss zu erlangen