ニュース

「暴君」がAGIを支配、OpenAIは危険な未来へ向かうのか?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Tencent Technology 著者 Guo Xiaojing Hao Boyang 氏

編集者スー・ヤン

OpenAIの人事混乱は続く、今度はオープンAIサム・アルタマンの忠実な支持者として知られ、サムが取締役会から追放されたときも彼とともにいたグレッグ・ブロックマン社長は、長期休暇を発表した。 グレッグ・ブロックマン氏自身は長期休暇を経て会社に復帰すると発表しているが、テクノロジー企業の多くの幹部は退職前に長期休暇を取るだろうが、彼の行動が他の憶測を招かないようにするのは難しい。

さらに、2人の中心幹部が退職することが明らかになった。1人は共同創設者の1人で、以前はOpenAIの元チーフサイエンティスト、イリヤ・サツケヴァー氏と共同でセキュリティチームの責任者を務めていた。研究者のジャン・ライク氏。

同時に、ジョンソン氏は OpenAI のリーダーでもありました。GPT一連の大規模モデルのトレーニング後のプロセスは、テクノロジー構築において非常に重要な要素であると言えます。さらに興味深いのは、辞任後、Jan Leikeと同様に、OpenAIの最強の競争相手であるAnthropicに直接入社したことだ。

さらに、昨年 OpenAI に入社したプロダクト マネージャーの Peter Deng 氏も辞任しました。彼は共同創設者ではありませんでしたが、入社から 1 年も経たずに辞任したため、外部の世界でも OpenAI に何が起こったのか推測されることになります。 OpenAIチーム。

OpenAI の人材流動性の第 2 波

創業者は3名のみ残っており、1名は長期休暇中です。

この変更後、OpenAI の当初の 11 人の共同創設者のうち、OpenAI に残るのは Sam Altman、Wojciech Zaremba、Greg Brockman (長期休暇も発表) だけです。残りの創設メンバーは全員チームを去りました。

これら11人の創設者のうち5人は、マスク氏が売却を発表し、OpenAIに混乱の波を引き起こした2017年から2018年に在籍していた。トレバー・ブラックウェル、ヴィッキー・チャン、ダーク・キングマ、パメラ・ヴァガタを含む。もう一人の創設メンバーであるアンドレイ・カルパシー氏も、テスラの社長としてマスク氏に直接引き抜かれた。オートパイロット主要。彼は 2023 年 2 月まで OpenAI に戻りませんでした。

残りの6人の創設メンバーは、昨年末のOpenAIの法廷闘争の後、今年全員辞任した。その中には、OpenAI の元主任科学者イリヤ・サツケヴァー氏、前述のジョン・シュルマン氏、そしてわずか 1 年で復帰した科学者のアンドレイ・カルパシー氏も含まれます。 2024年はマスク危機以来、OpenAIが経験した上級スタッフの最大の異動になると言える。

OpenAIを辞めた従業員はどこへ行ったのでしょうか?

OpenAIを退職した従業員の行方から判断すると、一般に2つの道をたどります。 1 つは、ライバル企業、基本的に Deepmind と Anthrophic に加わることです。 2 つ目は、前述の退職従業員の大多数 (66%) が、新しい起業プロジェクトに参加することを選択しました。

この選択により、実際にはいわゆる「OpenAI マフィア」が誕生しました。メディアの報道によると、今年までに30人近くの従業員がOpenAIを退職し、独自のAI企業を設立したという。そのうちのいくつかはユニコーンレベルに達しました。その中で最もよく知られているのは、Dario Amodei によって設立された Anthrophic で、OpenAI の最も強力な競争相手となっています。

この辞任の影響は何ですか?

インフォメーションが以前に公開したアーキテクチャ図によれば、今回人事異動する3名はいずれもOpenAIの中核マネージャーである。機能的な観点から見ると、Brockman 氏と Shulman 氏はどちらも OpenAI の CTO である Mira Murati に直属し (Greg は会長および取締役会メンバーとして追加の業務も担当する必要があります)、ユーザー製品担当副社長の Peter Deng は次の職に就く必要があります。レポートの第 3 レベル。彼らが担当する作業は、基本的に OpenAI の中核となる技術的な作業に属します。この変更の影響は小さいとは言えず、おそらく中核となる上級幹部40人のうち3人が交代した。

しかし実際のところ、担当者3名の具体的な内容を見ると、現時点ではOpenAIの新モデルの開発コアとはあまり関係がないのかもしれない。 OpenAIの過去の公式ブログによると、2022年からグレッグ・ブロックマン氏が社長に就任し、当時彼はOpenAIの主力AIシステムのトレーニングに注力していたという。しかし実際には、GPT-4 以来、現在の主任科学者 Jakub Pachocki が GPT-4 と OpenAI Five の開発を主導してきました。

Shulman 氏はかつて OpenAI のポストトレーニング部分を担当し、近接ポリシー最適化 (PPO) アルゴリズムを提案しました。これは、大規模な言語モデルを改善するためのコア戦略アルゴリズムのセットであり、これまで OpenAI で使用されていた主要なアルゴリズムの 1 つでもあります。しかし、イリヤの辞任後はスーパーアライメントの責任者に変更されており、現時点でのGPT-5プロジェクトへの影響は非常に限定的であると推定されている。

製品担当副社長 Peter Deng は顧客製品の責任者であり、GPT-5 の中核となる開発作業との全体的な関係は限られています。

基本的に、研究副社長のボブ・マックグルー氏と主任研究員のヤクブ・パチョック氏が、新モデルの開発において最も重要な人物であることが確認できます。

さらに、技術革新を推進している可能性のある OpenAI 内の主要人物は、もはや上級幹部ではなく、一部の草の根研究者です。たとえば、Stability AI の元 CEO、エマド氏は X で、アレック・ラドフォード氏の辞任だけが OpenAI の崩壊を決定できると述べた。

Google で Scholar の論文の引用数を検索することで、彼の重みを知ることもできます。

したがって、この辞任が OpenAI の研究の進捗に及ぼす影響は限定的である可能性があり、主な影響はチームの内部の士気と会社に対する外部の信頼です。

結局のところ、親友さえ維持できず、連荘企業をすべて排除した上司は、自分の経営能力に自信を得るのは難しいでしょう。

競合するキーの推測

残すべきキーワード: スーパーアライメント

OpenAIのスーパーアライメントプロジェクトは、2023年6月に設立された。今後4年間でコンピューティングパワーの20%を投資して、より高度なインテリジェントシステムと人間の問題を解決するために、AI監視を使用して人間レベルと同等の自動アライメント研究者を構築する予定である。目標の一貫性の問題。 「スーパー・アライメント」チームは、OpenAIの共同創設者兼主任科学者のイリヤ・サツケヴァー氏と研究者のヤン・ライク氏が共同で率いる。

Ilya Sutskever は、OpenAI の魂の人物の 1 人であると言えます。2017 年に業界で大きな注目を集めた「Attending is all you need」論文が発表されたとき、Ilya はそれを全面的に支持しました。変成器アーキテクチャのディレクションを担当し、その後 GPT および Vincentian DALL-E シリーズ モデルの開発を主導しました。

イリヤは、「ディープラーニングの父」として知られるジェフリー・ヒントンの生徒でもあり、ヒントンの指導の下で学部と大学院の研究を完了し、最終的にコンピューターサイエンスの博士号を取得しました。 ヒントン氏はまた、人工知能の急速な発展が人間の知性を超えた脅威をもたらす可能性があると警告している。

2023年末、「OpenAIパレスファイト」として知られる事件は、イリヤの離脱とサム・アルトマンの復帰によってついに一時的に終結した。しかし、論争は今日まで続いています。外の世界からの最大の推測は、OpenAI 内に内部の意見の相違があるということであり、さらに大きな信念の対立は大きなものです。

サム・アルトマンの経歴や行動から判断すると、業界は彼をe/acc(効果的加速主義)の信奉者と見なす傾向があり、テクノロジーの発展は本質的に人類にとって有益であり、人類は可能な限り多くの資源を投資してイノベーションを加速すべきであると信じている。既存の社会構造を変える。 OpenAI が行ったことに対応して、AGI を全速力で突破するために財源とリソースを集中することとして、単純かつ大雑把に要約できます。

スーパーアライメントと効果的な加速は、本質的にはもはやルートの戦いではなく、内なる信念の巨大な対立です。 2024 年 5 月、ジャン ライク氏も辞任を発表し、辞任の際にはソーシャル メディアに「危険な仕事」と投稿しましたが、ここ数年、AI セキュリティは輝かしい製品に取って代わられてきました。ついに引き返せないところまで来てしまった。」

Jan Leike氏の辞任により、当初のSuper Alignmentチームは事実上終焉を迎えた。残りのメンバーはジョンソン・シュルマン氏が率いるセキュリティチームに統合されたが、ちょうど今日、ジョンソン・シュルマン氏も辞任を発表した。

非常に興味深いのは、Jan Leike 氏と Johnson Schulman 氏の両方が、OpenAI と同じルーツを持つと言える Anthropic に行ったことです。 Anthropic の創設者も、OpenAI の元中心社員である Dario Amodei です。Dario が 2020 年に退職したのは、AI のセキュリティ問題が理由だったといわれています。

ダリオ氏は、応答を評価するために人間のフィードバックに依存するのではなく、明確な一連の行動原則を通じて AI システムの動作をガイドする AI モデルをトレーニングする手法である、Constitutional AI を Antropic で立ち上げました。このアプローチの核心は、AI システム自体を他の AI システムの監視に役立てることで、AI の無害性と有用性を向上させながら、監視の規模を拡大することです。

ダリオ氏は、憲法AIの主なアイデアは、AIシステムを使用して他のAIシステムの監視を支援し、それによって監視の規模を拡大し、AIの無害性と有用性を向上させることであると強調しました。 憲法 AI のプロセスには、自己批判、修正、教師あり学習、強化学習などのステップと、AI の動作を制限するための自然言語に基づく一連の憲法原則が含まれます。

それはイリヤの超一致した思考に非常に似ていますか?

それ以来、OpenAI と Anthropic は、AI の分野における効果的な加速主義と超調整主義という 2 つの信念をそれぞれ異なる代表者となったようです。

以前、イリヤの離脱はOpenAIのテクノロジーの一部が制御不能になったと判断したためではないかと心配そうに指摘する人もいたが、これが本当に事実であれば、別の道を歩んでいるAnthropicがこの巨大な獣を封じ込める上で有利になるかもしれない。腕。

結局のところ、Anthropic の Claude シリーズ モデルは、機能の点で OpenAI の GPT シリーズの大型モデルに限りなく近いのです。

異なる種類の対立:「暴君」サム・アルトマンと理想主義的な統治構造

もう一人の中心人物である OpenAI の創設者であるサム アルトマンが主張していることは、効果的な加速を信じるよりも難しいかもしれません。

まず、2015年12月11日に設立された考古学のOpenAI。それは当初から理想主義に満ちており、そのビジョンには、全人類に利益をもたらす汎用人工知能(AGI)の開発を積極的に推進し、すべての人に利益をもたらし、大企業や少数の人々による人工知能の独占と戦うことが含まれていました。

このビジョンの下で、イーロン・マスクを含む著名人から資金が調達されており、資金提供者は組織の成長に合わせて数十億ドルを投じているようだ。現時点では、OpenAI は理想を達成する方法だけを気にする必要はない。日用品の心配。

しかし、今や世界的に有名になった「Attending is All you need」の論文が登場した後、OpenAI は、膨大なリソースを消費するスケーリング則の道を選択しました。

2019年、資金調達のため、OpenAIは親会社のOpenAI Inc.の下に子会社OpenAI Globalを設立し、Microsoftの投資をOpenAI Globalの株式の最大49%と交換した。

つまり、OpenAI は元の非営利の親会社を維持しますが、この親会社の下に OpenAI Global という営利子会社が設立されます。この子会社はベンチャーキャピタルの投資家の資金や従業員の株式を吸収できるため、一般企業と同様に資金調達が可能だ。

しかし、OpenAI LP は完全に普通の会社になったわけではなく、「利益の獲得」という特徴もあります。つまり、利益は得られるものの、限界があるということです。稼いだお金がこの制限を超えた場合、超過分は非営利の親会社に返還されます。これにより、OpenAI LP が全人類に利益をもたらすという本来の目的から逸脱することがなくなります。

しかし、このような一見革新的な構造には潜在的なリスクがあります。それは、非営利団体 OpenAI LP の理事会が営利団体 Open AI Global を管理しているということです。非営利団体の使命は井戸です。 -株主の権利や利益ではなく、全人類のものです。 Microsoftは株式の49%を取得したが、取締役会の議席も発言権もなかった。

さらに劇的なのは、アルトマン氏が取締役会から追放された後、従業員の98%が辞任をちらつかせ、彼の復帰を求める公開書簡に署名したことだ。 アルトマン氏は後のインタビューで、「今回の事件は全員の財産を破壊する可能性があり、多くの従業員にとって、これは自分たちの財産の全部、あるいはほとんどを意味する」と語った。

最も世俗的な利益を追求する一般従業員の「熱意」が、中核となる創設者らの壮大な安全性 AGI の理想を打ち破りました。

OpenAIのガバナンス構造に加えて、サム・アルトマン氏のある「物議を醸す」管理スタイルもオンラインで明らかになった。たとえば、アルトマン氏は、警告なしに誰かを暫定的に配置する「動的」管理と呼ぶ手法をとっている。リーダーシップの役割を果たし、リソースを割り当てます。たとえば、アルトマン氏はかつて、別の人工知能研究者であるヤクブ・パチョッキ氏を研究責任者に突然昇進させたが、当時の研究責任者イリヤ・サツケヴァー氏は不安を表明し、同時に2人の異なる幹部にリソースと責任を約束したものの、サム氏の当初の意図は競争を引き起こすことであった。 , しかし、イリヤはこれではさらなる軋轢が生まれると感じています。

さらに、サム・アルトマンの競技スタイルも、より狼的で直接的なものになっている。GPT-4oオンライン化する前に、十分なセキュリティテストを受けていなかったことが明らかになり、競合他社であるGoogleに対してより効果的な障壁を提供するためにこのタイミングが選ばれたのではないかと言われている。

OpenAI は、この生成 AI の波の火付け役であり、常にリーダーとみなされてきました。しかし、現在の状況はますます困難になってきています。全世界が OpenAI がどれだけのブレークスルーを実現できるかに期待していますが、同時に、これらのブレークスルーが実際の製品に変換できるかどうかにも期待しています。それは十分な利益を生み出すことができます - 結局のところ、OpenAI その製品力は常に業界から批判されてきました。

さらに、投資機関の予測によれば、OpenAI は今年も赤字が続き、より強力なモデルのトレーニングを継続すると予想されており、造血能力が十分でない場合に資金調達を継続する方法も OpenAI が考慮しなければならない問題です。

競争環境はますます激化している。同社を取り巻く大手企業だけでなく、筆頭株主であるマイクロソフトも、同様に強力なAntropic社を競合企業として挙げている。

サム・アルトマン氏の復帰後は「孤独」になる可能性があり、「抜け殻」となったかに見えるこの取締役会が今後もOpenAIの主導権を握り続けられるのか、外の世界も懸念するだろう。

しかし、ベンチャーキャピタルの分野のコンサルタントは、今日私たちに次のような見解を表明しました:「OpenAIの当初の経営陣は、素晴らしい経歴、誠実さ、理想を持った学者のグループでした。しかし、おそらくテクノロジー企業は真に成長することができますが、彼らには「暴君」が必要です恣意的な「暴君」がいないと、決断を下すまでに長い時間がかかるかもしれない。」

「暴君」アルトマンのリーダーシップの下にある OpenAI は、最終的にはどこへ向かうのでしょうか?

OpenAI台頭の秘密: ウルトラマンは幼い頃から権力を欲しがり、コネを頼りに巨大な影響力を蓄積してきた