ニュース

特異点が近づく、人類はどうすべきか？

2年間の「遅れ」を経て、レイ・カーツワイルの新刊『The Singularity is Nearer』が6月末、ついに発売された。カーツワイルの本のファンである私は、すぐに新刊の電子版を見つけて一気に読みました。

カーツワイル氏は本書の中で、情報技術の発展速度は指数関数的に進むという重要な経験法則を読者に示している。このペースで、人々の情報処理の技術的能力は毎年倍増しています。情報技術の代表格である人工知能（Artificial Intelligence、以下AI）の発展はさらに驚異的です。この傾向によれば、2029 年までに AI はあらゆるタスクにおいて人間を上回り、汎用人工知能 (AGI) が完全に実現されるでしょう。 AI テクノロジーが画期的な進歩を遂げた後は、多くの分野に力を与え、急速な発展を促進するでしょう。したがって、人類は5年から10年以内に「長寿脱出速度」に達すると予想されていますが、高齢化は進みますが、医療技術の進歩により死亡リスクは増加しません。赤血球サイズのナノロボットの助けを借りて、人々は分子レベルでウイルスや癌細胞を直接殺すことができるようになり、その結果、人間を悩ませている多くの病気が解決され、その結果、人間の平均寿命は大幅に伸びるでしょう。それだけでなく、ナノロボットは毛細血管を通じて非侵襲的に人間の脳に侵入することも期待されています。クラウドでホストされている他のデジタル ニューロンと連携して、人間の知性をより高いレベルに引き上げます。このようにして、人間の思考、記憶、問題解決能力は脳の容量によって制限されなくなり、人間の知性は何千倍にも向上します。上記のことがすべて起こった後は、現在人々を悩ませている問題の多くが解決されるでしょう。より安価なエネルギーが発見されて使用され、農業の効率が大幅に向上し、公教育のレベルが大幅に向上し、暴力が大幅に減少するでしょう。 ……つまり、2045年までに人類は「シンギュラリティ」を超え、これまでとは全く異なる新たな時代を迎えることになる。

私のような古い読者にとって、カーツワイルに対するこうした見方は新しいものではありません。実際、2005 年に出版された彼の著書「The Singularity is Near」では、上記のほぼすべての点が詳細に論じられています。その意味で、この新しい本は単なる新しいボトルに入った古いワインにすぎません。しかし、今回改めてこれらの見解を読んでみると、以前とは全く気分が異なりました。 10年以上前に『シンギュラリティは近い』を読んだとき、私はそれをSF小説として考えていました。カーツワイルは本の中で多くのデータを使って、世界のテクノロジーが指数関数的に成長していることを示していますが、私を含む多くの人はこれに非常に懐疑的です。

結局、当時からインターネット技術は急速な発展を遂げていたものの、人々に利便性をもたらすことは別として、人々の生活に根本的な影響を与えることは難しかったように思えます。一方で、かつて期待を集めたAI分野は象徴主義の導きによって行き詰まり、しばらくは打開の可能性が見えにくい状況にある。このような状況下では、2029年にAIの知能レベルが人間の知能を超えるというのは、ほとんど幻想に近い。

奇跡的に、その後の歴史的発展傾向はカーツワイルの予測と驚くほど似ています。 「The Singularity is Near」のリリースからわずか 2 年後、「ディープラーニング革命」は AI 分野で新たな成長ラウンドを引き起こしました。 AI の能力が人間のトップ棋士を破り、数十億のタンパク質の構造を解読し、数十万のコンポーネントを備えたコンピューター チップの設計に役立つまでに開発されるまで、時間はかかりませんでした。 2022年10月にChatGPT（チャットベースの人工知能プログラム）が誕生して以来、AIは会話、文章、絵画、動画制作など、人間にしか習得できないスキルをわずか1年余りで習得した。関連する調査によると、最新の AI モデルは、何百ものタスクにおいて人間を超える能力を実証しています。この状況下では、2029 年に AI が人間を超えるという予測は、もはや急進的ではないだけでなく、やや保守的に見えます。実際、多くの専門家は、AGI がより早く登場すると信じています。たとえば、DeepMind (AlphaGo を開発した人工知能企業) の創設者の 1 人であるシェーン・レッグ氏は、AGI は 2028 年までに達成できると信じていますが、テスラ CEO のイーロン・マスク氏は、人々が AGI を導入すると信じるのはさらに過激です。 2025年。

それだけでなく、カーツワイルの予測どおり、ナノロボットやブレインコンピューターインターフェースを含む多くの技術も急速に発展しています。たとえば、2023年1月、雑誌「ネイチャー・ナノテクノロジー」は、ナノロボットを使用して膀胱がんの治療薬を運ぶバルセロナ科学技術大学の研究者らの研究について報じた。研究では、この治療により実験用マウスの腫瘍が 90% 縮小できることが示されています。この成功は、ナノロボットをがんの治療に応用し、それによって人間の寿命を延ばすというカーツワイルのアイデアをよく表している。別の例として、マスク氏はつい数日前、2回目のブレイン・コンピューター・インターフェース手術が数日以内に実施されると発表し、数年以内に何千人もの患者の脳にインターフェース・デバイスが埋め込まれるだろうと予測した。この技術には、現時点ではまだ多くの欠点がありますが、現在の開発速度からすると、近い将来、人間がブレイン・コンピュータ・インターフェースを介してコンピュータと対話することも夢ではありません。ナノテクノロジーとブレイン・コンピュータ・インターフェースという２つの「ブラック・テクノロジー」を組み合わせれば、カーツワイル氏の言う人間と機械の融合と知能の倍増は完全に可能となる。上記の理由に基づいて、2045 年までに「特異点」を達成することが技術的にますます実現可能になりつつあると信じる理由があります。

しかし、人々が「特異点」を越えたとき、本当にカーツワイルが予言したような前例のない美しい時代を迎えることができるのだろうか？私の意見では、この質問に対する答えは実際には不確実です。カーツワイル自身を含む技術楽観主義者は、これまでの技術開発が最終的に人類の福祉の向上を促進してきたことを証明するために多くの歴史的証拠を引用することができますが、この法則を単純に将来予測に使用する場合、おそらく大きなリスクが生じるでしょう。結局のところ、人類の歴史上、AI ほどの力を持つテクノロジーは存在しません。一度不適切に使用されると、それが引き起こすリスクは想像を絶するものになります。

したがって、「シンギュラリティ」の後に美しい新時代を迎えるためには、シンギュラリティが到来する前に、人とテクノロジー、人と人、人と人間の関係を総合的に検討しておく必要がある。テクノロジーが常に人類にとって有益な方向に発展することを保証する方法を考え、見つけてください。

カーツワイル氏の予測によれば、AGI の登場はまだ 5 年ほど先です。 AIの知能レベルは今のところ人間の知能レベルを完全に超えてはいませんが、確かに多くの面で人間のレベルを上回っており、これがAIによる技術的失業に対する前例のない懸念を引き起こしています。

歴史的な観点から見ると、技術的失業は新しい話題ではありません。蒸気機関の発明から電気の応用、インターネットの普及に至るまで、重大な「創造的破壊」効果が生じ、古い技術に基づいた多くの仕事が失われ、多くの人が失われています。関連する職業で。しかし、歴史上こうした技術的失業の波のほとんどは一時的なものでした。新しいテクノロジーが普及するにつれて、多くの新しい雇用が創出されるでしょう。

AI が雇用市場に与える影響はこれまでのところそれほど大きくないのは事実ですが、これはそのリスクが存在しないことを意味するものではありません。将来のAIによる雇用への影響を予測する際、AIの能力向上が指数関数的に進む可能性があるという重要な条件を見落としがちだ。実際、2022 年の ChatGPT (人工知能会話プログラム) の出現をノードとすると、このノード以降の AI の開発速度がノード以前よりもはるかに速いことを見つけるのは難しくありません。インタラクション機能を例に挙げると、ChatGPT が登場する前は、AI が人と自由に会話できるようになるまでに数十年かかりました。ChatGPT の登場後、AI はわずか 1 年余りで多くのことを達成しました。 。この意味で、完全に線形論理に基づいて AI 機能の将来の成長率を推定すると、非常に重大な誤った判断につながる可能性があります。 AI の機能が大幅に向上する一方で、その使用コストも大幅に削減されていることにも注目してください。現在、人々が API を通じて AI モデルを呼び出すコストは、ほぼゼロにまで下がりました。

この性能向上とコスト削減を組み合わせることで、人間を AI に置き換えることが技術的に可能になるだけでなく、経済的にも実現可能になります。実際、関連するテクノロジーのニュースにもっと注意を払うと、私たちが注意を払っていないときに、AI が多くの職業を静かに置き換えていることがわかります。わずか 10 年前、人々は AI がより日常的で反復的な仕事だけを置き換えると考えていたことは注目に値します。しかし、より創造性とコミュニケーション スキルが必要な仕事を AI が置き換えるのは難しいでしょう。しかし、イラストレーターという職業は、労働時間が自由で比較的高収入であるため、かつては若者の間で人気がありましたが、現在では、AI モデルを使用してイラストを完成させたい場合は、月額無制限のサブスクリプションを支払うだけで済みます。必要に応じていつでも改訂できます。明らかに、このような比較の下では、ほとんどの顧客は人間の画家ではなく AI の使用を選択することになり、大多数のイラストレーターもこの顧客の選択により仕事を失うことになります。イラストレーターだけでなく、翻訳者、プログラマー、グラフィックデザイナーなどの職業もAIによる深刻な影響を受けています。ただ、影響を経験したこのグループの人々の割合は労働力全体の中で比較的低いため、人々の感情は明らかではありません。

では、今回の一連の AI 代替によって引き起こされる技術的失業は、過去と同じように簡単に起こるのでしょうか、また、市場の自発的な調整だけで簡単に克服できるのでしょうか?この問題に対する私の見解はそれほど楽観的ではありません。基本的に、社会が技術的失業の波を比較的スムーズに乗り越えられるかどうかは、主に 2 つの点に依存します。第 1 に、新しい技術の影響を受ける職業に多数の雇用者がいるかどうかです。第二に、新しいテクノロジーが古い雇用機会を排除すると、すぐに始めやすい新しい仕事を生み出すことができます。

しかし今回、AI が雇用市場に与える影響はまったく異なります。一方で、今回の AI への影響は範囲が包括的であるだけでなく、時間的にも非常に集中的です。いわゆる包括的な範囲とは、多くの業界が同時に影響を受けることを意味します。これまでの特化型AIとは異なり、新しくリリースされるAIモデルの多くは汎用型です。実際には、これらのモデルを使用して、少し調整するだけでさまざまなタスクを実行できます。この場合、AIの発展は複数の職業に同時に影響を与える可能性があります。いわゆる時間集約型とは、AI が 1 つの職業に影響を与えた後、すぐに別の職業に影響を与えるという事実を指します。この集中的な影響により、失業者の再就職は間もなく著しく困難になるとともに、技能訓練を通じて再就職を達成することに対する彼らの自信も大きく損なわれることになるだろう。想像してみてください。イラストレーターがミッドジャーニー (人工知能描画ツール) によって仕事を奪われ、ようやく運転を覚えてオンライン配車ドライバーになったとしましょう。しかし、無人運転車の台頭によりすぐに職を失ったとします。そして、職を失った後も、そのような状況下で、彼はまだ新しいスキルを学び続ける忍耐力を持っているだろうか、そしてAIがこのスキルを短期間で習得することはないと確信しているのだろうか？

したがって、AIによって引き起こされる今回の技術的失業は、これまでの技術的失業とはまったく異なるものになる可能性があります。 AI技術が飛躍的に成長し続ければ、社会が市場の自発的規制だけに頼って完全雇用を達成することは困難になるかもしれない。政策の観点から見ると、AI が雇用に及ぼす影響を緩和する方法は確かにたくさんあります。たとえば、政府がより多くの求職活動支援サービスや再就職訓練を提供することで、AI のせいで職を失った人々がより早く新しい仕事を見つけることができます。 。しかし、AIの開発スピードが高い水準で推移し続ければ、こうした努力はせいぜい一時的な効果しか期待できません。人間の仕事の終焉は、私たちにとって受け入れがたい未来かもしれませんが、私たちはそれに直面しなければなりません。

ブレイン・コンピューター・インターフェースやナノロボットなどのテクノロジーの現在の開発がAIに比べて遅れていることを考えると、少なくとも今後10年間は​​、AIを使用して脳を直接強化することは想像のレベルにとどまる可能性があります。では、この時期、人々はAIによる技術的失業によって引き起こされるさまざまな社会矛盾にどう対処すべきなのでしょうか。

一部の学者が提示する解決策は、AIユーザーに課税し、その税収をユニバーサル・ベーシック・インカム（UBI）の発行に使うことだ。これにより、AIの影響で職を失った人が新たな職を見つけることが困難になったとしても、基本的な生活保障を得ることができ、生活困窮を回避することができます。

しかし、この計画は提案されて以来、物議を醸している。たとえば、一部の学者は、AI のような新しいテクノロジーに課税すると、その発展が大きく妨げられると考えていますが、他の学者は、UBI の導入により、人々が無料で何かを手に入れることを奨励する可能性があると考えています。

私の意見では、AI 税と UBI の導入に対する潜在的な抵抗がより大きくなるのは、実際には給付金の分配への影響によるものです。ご覧のとおり、AI の発展に伴い、多くの AI 関連企業が短期間で収益と市場価値の急増を経験しています。 OpenAI を例に挙げると、数年前は毎年赤字を出している企業でしたが、GPT などのモデルの人気により、すぐに年間収益が数十億ドル、評価額が 2000 億ドルの企業になりました。ほぼ1000億ドルのビジネス。言うまでもなく、マイクロソフトやエヌビディアなどの巨大企業は AI を活用して 1 年以上で市場価値を何兆ドルも増加させてきました。 AI技術のさらなる発展により、少数の企業や個人に巨額の富が集中する傾向は今後も続くことが予想されます。

これによりどのような結果が生じるのでしょうか?その直接的な結果は、社会全体の分断と離反がより深刻になることだ。 AIの費用対効果が十分に高くなると、郝景芳の小説『北京折畳み』で言及されているように、一般の労働者は搾取される価値がなくなる。そうなると、AIや富を支配する富裕層は彼らと同じ都市に住むことすら望まなくなり、社会的な孤立や反発がさらに深刻化するだろう。

これが最も怖いことではありません。カーツワイルが予測するように、近い将来、人類がナノテクノロジーによって分子レベルから変革できるようになったら、より裕福な人々が最初に自らの「機械的進化」を達成することになるだろう。この後、富裕層の貧困層に対する優位性は、富の多さだけでなく、知力や体力などあらゆる面で後者を圧倒することになる。そして、この利点により、彼らは富の集中にさらに貢献することができます...劉慈欣はかつて小説「人類の維持」でこの状況を想像しました。彼の想像によると、同様の傾向の下で、社会全体の富と権力は「ファイナリスト」によって独占され、他の全員の運命は彼によって制御されるでしょう。

技術的な失業と分配の問題が、AI 時代に人類が何度も遭遇した古い問題の再現であるとすれば、これから議論することは、「シンギュラリティ」が近づくにつれてまったく新しい問題になります。

新たな問題の中で最も顕著なものは、AI アラインメントの問題かもしれません。いわゆる AI の調整とは、要するに、AI が人間の規範と価値観を理解し、人間の願望と意図を理解し、人間の意志に従って行動できるようにすることです。一見すると、これは難しいことではないように見えますが、結局のところ、AI プログラムは基本的に人間によって設定されます。それでも人間は自分の利益に反する目標を設定するのでしょうか。しかし実際には、次の 2 つの理由から、答えはそれほど単純ではありません。

一方で、人間がAIの行動目標や行動規範を設定する場合、人間が自らの興味や懸念を完全かつ正確に表現することは困難なことが多く、AIが人間の利益を侵害する余地が残されています。たとえば、科学哲学者のボストロムはかつて、有名な著作『超知性』の中で「宇宙のペーパークリップ」と呼ばれる思考実験を提案しました。彼は、人間がペーパークリップの生産を最大化するという目標を持って AI を作成し、その目的を達成するためにあらゆる手段を使い、より多くのリソースをペーパークリップの生産に費やすために人間を排除するだろうと想像しました。この思考実験では、ゼムクリップの製造自体は人類の利益になりますが、その最終結果は人類の利益を著しく害する可能性があります。

一方で、人間はAIの効率を高めるために、AIに自己学習や改善の余地を多く与えることが多く、AIが本来設定した値から逸脱してしまう可能性があります。たとえば、現在の AI エージェントの多くは、環境やユーザーとの相互作用に基づいて自身を継続的に改善することができ、この場合、AI エージェントはさまざまな悪い価値観の影響を受け、その目標が人類の基本的な利益と矛盾する可能性があります。

特にAGIの登場により、AIは道具からあらゆる面で人間と同等、あるいはそれ以上の能力を持った個体へと徐々に変化していきます。この場合、AIと人間との齟齬は大きなリスクにつながります。 . 『ターミネーター』や『マトリックス』などの映画やテレビ作品で描かれた暗い未来が本当にやってくるかもしれない。

現在の AI アライメント研究は、まさにこのような事態が起こらないようにするために、AI 分野で著名な科学となっています。現段階では、AI の調整を達成するために主に 2 つの方法が使用されます。 1 つは「人間によるフィードバックによる強化学習」、いわゆる RLHF 手法、もう 1 つは「憲法的人工知能」、いわゆる CAI 手法です。 RLHF を使用する場合、設計者はまず小規模な AI モデルを手動でトレーニングし、AI の動作に対するトレーナーの継続的なフィードバックを通じて強化学習を実装し、その値が設計者が期待する値と一致するように導きます。次に、この小さなモデルは、強化学習を使用してより大きな AI モデルをトレーニングするための「コーチ」として使用されます。 CAI手法を利用する場合、設計者はまずAIモデルが従うべき「規約」を設定し、その「規約」を利用してAIが様々なシナリオで従う必要がある行動規範を生成します。次に、設計者はこれらの基準を使用して AI モデルによって生成されたさまざまな結果を判断し、「憲法上の」基準に準拠しているかどうかを確認します。 「憲法」に準拠した結果には相応の報酬が与えられ、「憲法」に違反した結果には相応の罰則が与えられます。

どちらの手法もこれまでのところ一定の成果を上げていることは評価に値するが、依然として問題は大きい。たとえば、「ディープラーニングの父」ジェフリー・ヒントンは最近、これらの手法はAIの行動が人々の利益に沿っているように見せるだけで、人々の価値観と完全に一致していることを保証することはできないと指摘しました。このような状況では、特定の状況下で AI が人間を裏切るという保証は困難です。特にAGIの登場とAIの能力が人間を超えると、同様の裏切りが起こる可能性はますます高くなり、それに伴うリスクも大きくなるでしょう。

では、このような状況下でAIの調整作業をさらに改善するにはどうすればよいのでしょうか？私の意見では、私たちに必要なのは、考え方を変えることかもしれません。現在の観点からすると、AI の価値観は常に人間の利益にかなうためには AI の価値観と一致していなければならないと信じて、ほとんどの人が自然に AI の整合性を価値観の整合性と同一視していますが、これは明らかに非常に困難です。しかし、価値観の調整は本当に必要なのでしょうか?あるいは、質問を変えることもできます。実際には、私たちの利益にかなう特定のタスクを完了してくれる人が必要なのですが、その人は価値観に関して私たちと一致している必要がありますか?答えはもちろんノーです。多くの場合、実際に必要なのは、自分の価値観と一致しない人々を誘導して、自分が望む目標を達成するための適切なルールのセットを設計することだけです。たとえば、利己的な 2 人にパイを公平に分けるよう依頼する場合、最初に彼らの価値観を一致させることでこれを達成しようとすると、その作業は無限に難しくなります。ただし、これを行う必要はありません。ケーキをカットするのは 1 人ですが、配布は別の人が担当するという仕組みを設計するだけです。これは非常に簡単に行うことができます。このことから、AI の調整を行うときに、破るのが難しい値のブラック ボックスをバイパスして、メカニズム設計の観点からこれらのタスクを直接完了できるという考えが生まれました。喜ばしいことは、一部の研究者がこの整合性を認識し、この方向に沿って多くの成果を上げたことです。

AI の調整の問題に加えて、「シンギュラリティ」が近づいたときに人々が直面しなければならないもう 1 つの大きな問題は、アイデンティティの特定と認識です。この問題には 2 つの側面が含まれます。1 つは AI のアイデンティティと AI との関係をどのように理解するか、もう 1 つは私たち自身のアイデンティティを再理解する方法です。

まずは最初の質問を見てみましょう。数年前、AI についてどう考えるべきかと人に尋ねたら、おそらく彼はためらうことなく、AI は私たちにとって単なるツールだと答えるでしょう。理由は簡単です。彼らのパフォーマンスから判断すると、彼らは自律的な意識を持っている可能性は低く、人間の制御下で関連するタスクしか実行できないからです。

しかし、ChatGPT のような大規模な言語モデルの出現後、状況は大きく変わりました。 人と対話する際の AI のパフォーマンスは、その本来の硬直性を徐々に取り除き、私たちとの会話においては常に流暢に質問に答え、場合によっては私たちの心理や行動を予測することさえできます。このことから、彼らはすでに自分の意識を持っているのではないかと疑問に思えます。おそらく、コンピューターの専門家の中には、これは事前に設計されたモデルに基づいてこれらの質問に対する機械的な答えにすぎないと私たちを慰める人もいるでしょう。本質的には、多数の 0 と 1 の加算、減算、減算にすぎません。しかし、「魚でない子は魚の喜びを知っている」という諺があるように、この単純な足し算と引き算の背後に意識や思考が存在しないと誰が保証できるでしょうか。結局のところ、脳を脇に置いて、顕微鏡で注意深く観察しても、さまざまな電気信号を送っている神経細胞の束が見えるだけで、魂を持った細胞は1つもありません。この場合、私たちと自由にコミュニケーションできる目の前のAIが魂を進化させていないとどうやって確信できるのでしょうか？

AGIの登場後、同様の問題はますます顕著になると思います。おそらく近い将来、『ウエストワールド』のバイオニックAIロボットが私たちの前に現れるかもしれません。彼らの行動はすべて私たちの行動と一致しており、あらかじめ設定されたプログラムでさえ、彼らが人間であることを示しています。このようなAIロボットに出会ったとき、私たちは目の前にあるものは自分が作った道具にすぎないと胸を撫で下ろして言えるでしょうか。

2 番目の質問を見てみましょう。 AIのアイデンティティの問題と比べると、人間の自己識別と認識はより難しい問題かもしれません。

一方で、前述したように、ナノロボットとブレイン・コンピューター・インターフェース技術の発展により、人類は自らの身体を大幅に改変する能力を習得することになる。将来的には、人々はナノロボットを使用して死んだ細胞を修復して寿命を延ばすだけでなく、知力と体力を拡張するためにナノロボットに直接依存することもできると期待されています。最初は、人体に対するこの種の改変は少数の細胞に限定されるかもしれないが、それは私たちにアイデンティティの問題を引き起こすことはない。ちょうど今、人が義肢や義歯を装着したら、その人は人間ではないと考えるのと同じである。彼も同じだった。しかし、この改変プロセスが続けば、ある日、体内の細胞のほとんど、あるいはすべてが置き換わることになります。このとき、「テセウスの船」の古典的な問いが再び私たちの前に現れるだろう：今の「私」は過去の「私」のままなのか？

一方で、AI技術の発展に伴い、人々は意識をクラウドにアップロードする能力を徐々に習得するだろう。実際、マスク氏を含む一部の人々はすでに同様の取り組みを始めている。将来、テクノロジーが本当に発展して、この意識が私と同じように考えられるようになったとしたら、この意識は人間の意識とみなせるでしょうか?答えが「はい」である場合、それと意識の本質との関係は何でしょうか?さらに、この意識を意識の根源のクローンに置いた場合、このクローンと元の人間との関係はどうなるでしょうか？父と息子？兄弟？または、他の何か？

アイデンティティとアイデンティティの問題は決して単なる哲学的思索の問題ではないことを強調する必要がある。実際には、これには多くの法的および倫理的問題が含まれます。例えば、人間とAIの労使関係はどうあるべきか。 AIは人間と同じ権利を持つべきでしょうか?私の体と心のクローンが私の財産を所有できるでしょうか?アイデンティティの問題が解決されなければ、これらの問題を真に解決することは困難になります。

しかし今のところ、上記の疑問に対する明確な答えはまだ見つかっていません。関連する合意形成をさらに促進するためには、これらの問題についてオープンで深い議論を行う必要があります。