ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

太陽光発電産業を例に挙げると、たとえ技術が非常に重要になり、市場で広く使用されるようになったとしても、単一企業に高い利益をもたらすことは依然として困難であり、高度な商業化が企業の収益性を制限するとアモデイ氏は考えている。太陽光発電産業と同様に、ai テクノロジーの市場規模は非常に大きいかもしれませんが、そこから利益を上げるのは難しく、さまざまな参加者間の利益分配の問題も非常に複雑です。

ハードai

著者 | 黄文文

編集者 | ハードai

今週は、「aiユニコーン」anthropic社のceo兼共同創設者であるダリオ・アモデイ氏がインタビューに参加し、ai産業の発展やスケーリング法などについて語った。

スケーリングの法則は主に、データとコンピューティング能力が増加すると、モデルの機能も増加するという事実を指します。アモデイ氏は、この法則が今後も維持されれば、aiはおそらく非常に強力になり、新たなビジネスモデルや技術革新をもたらすだろうと考えている。

ただし、このこの法則が常に適用されるわけではないことも強調し、いくつかの側面でモデルのパフォーマンスをさらに向上させることができない場合、ai 業界全体に影響が及ぶ可能性があると述べました。

アモデイ氏はai産業と太陽光発電産業の比較にも焦点を当てた。同氏は太陽光発電産業の例を用いて、たとえある技術が非常に重要になり、市場で広く使われるようになったとしても、単一企業に高い利益をもたらすことは依然として難しい可能性があることを説明した。

太陽光発電技術はエネルギー業界全体をほぼ揺るがしていますが、その市場は高度にコモディティ化されており、競争が激しく、大きなブランド効果に欠けているため、各企業の収益性には一定の制限があります。

太陽光発電産業と同様に、ai テクノロジーの市場規模は非常に大きいかもしれませんが、そこから利益を得るのは難しいかもしれません。 ai の収益モデルは、モデルの計算コスト、推論コストなどの複数の要因の影響を受ける可能性があります。ハードウェア プロバイダー、モデル開発者、アプリケーション層の間の収益配分も非常に複雑で、かなりの課題に直面しています。

話のポイントは次のとおりです。

1. スケーリング法をビジネスの問題から完全に切り離すことはやや困難です。

2. 市場が非常に大きいため、私の最初の答えは、利益はこれらすべての場所に流れるだろうというものです。

3. スケーリングの法則が正しければ、これは非常に巨大な市場となるでしょう。たとえ利益の 10% がサプライチェーンの特定の部分に渡ったとしても、それは依然として莫大なものです。

4. 数百億または数千億のパラメータを使用してモデルを構築している場合、関与する企業は 4 つまたは 5 つ以上ではないかもしれません (おそらく一部の国営企業も)。したがって、私たちが目にしているのは、完全な独占や完全なコモディティ化というよりは、むしろ寡占に近いものかもしれません。

5. このようなモデルがリリースされたとしても、このような大規模なモデルの推論におけるランニングコストは非常に高く、コストのほとんどはモデルのトレーニングではなく推論に費やされます。より優れた推論方法を持っていれば、たとえ 10%、20%、または 30% の改善でも大きな影響を与える可能性があります。

6. 当社には、より大型で強力なモデルと、より高速で安価でインテリジェント性が低いモデルがありますが、一部のお客様は、大型モデルが多数の小型モデルにタスクを割り当て、その後、大型モデルにレポートしてタスクを完了できることに気づきました。群れ。

7. スケーリングの法則が永遠に続くと誰も信じるべきではありません。これは単なる経験的観察であり、いつ停止する可能性もあります。私は彼らを10年間観察してきましたが、彼らが止まらないという私の推測は、私が彼らを観察してきた期間に基づく60対40または70対30の命題にすぎません。

8. ai を正しく使用できれば、これらの発見を行う速度を 10 倍、おそらく 100 倍に高めることができます。

インタビューの全文は以下の通りですが、一部内容は削除されています。

01

googleは人工知能時代のベル研究所になれなかった

ノア・スミス：

この経済学ポッドキャストでは、純粋に技術的な話ではなく、経済学について話すことを好みます。では、google は人工知能時代のベル研究所なのでしょうか?

彼らは現代の深層学習やトランスフォーマーなどの研究をしましたが、ベル研究所のように商業化にはあまり成功しませんでした。彼らは独占資金で研究に資金を提供し、ベル研究所のフェアチャイルドの人々のように、あなたのような興味深い人々がそこで働き、その後退職して会社を設立しました。これは適切な比喩だと思いますか?

ダリオ・アモデイ:

完璧な例えはありませんが、これにはある程度の真実があると私は間違いなく思います。多くの人は、google が目標を達成するためにより多くのリソースを持っていたことを除けば、ベル研究所の産業環境と非常によく似た、学術的なキャリアの継続であると考えていました。したがって、多くのプロジェクトが検討されています。変圧器はこの分野を推進する重要な発明の 1 つであり、研究されている約 100 のプロジェクトのうちの 1 つにすぎません。

もしあなたが組織のトップにいたとしても、それを開発中の他の 99 プロジェクトと合理的に区別することはできないでしょう。まるで百の花が咲き競い合っているかのようです。私が初めてスケーリング法を提案したのはこの時だったと思います。これは、これらのイノベーションを大規模に拡張して統合する必要があるというものです。

理論上、google はこれを行うのに最適な場所です。google は、数多くの才能あるエンジニアと必要な要素をすべて備えた世界最大のクラスターを持っています。しかし、google は検索のために組織されており、必ずしもこれらすべての要素を 1 つにまとめて、以前とはまったく異なるものを大規模に拡張するためのものではないと思います。

ノア・スミス：

ベル研究所がコンピューターを発明して全員にコンピューターを提供するために設立されたのではなく、全員に配線するために設立されたのと同じです。

ダリオ・アモデイ：

はい、電話会社です。したがって、私は google のことを代弁することはできませんが、明らかに現在、google はこれらすべての驚くべきものを発明していることに加えて、最先端のモデルを備えたトップ 4 企業の 1 つであり、私たちのパートナーであり、競合他社でもあります。私はそこにとても賢い人たちをたくさん知っています。

しかし、おっしゃる通りだと思います。これらの要素を適切に組み合わせることができれば、いつか彼らが唯一の支配的なプレーヤーになれる時が来るでしょう。しかし、何らかの理由で、物事はそのようには進みませんでした。

02

スケーリングの法則:

データサイズが増加するにつれて、モデルはより強力になります

ノア・スミス：

これにより、私たちが考えている別の疑問が生じます。実は、私たちがあなたと話をするというアイデアは、別のポッドキャストで基本的にインターネット ビジネスの経済学について話していたときに、誰かが ai ビジネスについての悲観的な見解を持ち出し、ai がどれくらいあるのか疑問を呈したことから生まれました。企業には経済的な堀があります。

明らかに、これは anthropic やその他のスタートアップと呼ばれる企業と密接に関係していますが、これらの企業はすでにかなり大規模です。ai企業の経済的堀についてどう思うか教えてください。

ダリオ・アモデイ：

この質問を少し 2 つに分けたいと思います。スケーリング法とビジネスの問題を完全に切り離すのは難しいと思います。そこで、スケーリング則が非常に強い形で成立する場合を考えてから、それが部分的に成立するか、まったく成立しない場合を考えてみましょう。これが非常に強い形で成立する場合、状況は次のようになります。

これで、1 億個のパラメータを使用してモデルをトレーニングしました。その機能は優秀な大学新入生と同等です。

次に、10 億のパラメーターを使用してモデルをトレーニングします。これは優秀な学部生の能力に相当します。

数百億のパラメータを使用してモデルをトレーニングしました。その能力はトップの大学院生と同等です。

数千億のパラメータを使用してモデルをトレーニングすると、その機能はノーベル賞受賞者と同等になります。

そして、このモデルを実用化すると、基本的にすべての人にサービスを提供できるようになり、それがあなたの同僚となり、個人的なアシスタントとなり、国家安全保障や生物学研究に役立ちます。

その世界では、このシステムとそれに基づく製品が経済の大きなシェアを占めることになると思います。残る疑問は、収益がどこに行くのかということだ。それは nvidia に流れるのでしょうか、人工知能企業に流れるのでしょうか、それとも下流のアプリケーションに流れるのでしょうか?市場が非常に巨大であるため、私の最初の答えは次のとおりです。利益はこれらすべての場所に流れ込みます。

03

ai の未来は太陽光発電産業と同様になる

ノア・スミス：

しかし、太陽光発電について考えてみてください。太陽光発電が非常に重要になるのは明らかです。私たちが必要とするエネルギーが増えれば増えるほど、太陽エネルギーはさらに普及するでしょう。しかし、どの太陽光発電会社が多大な利益を上げているかを判断するのは困難です。太陽エネルギーは非常にコモディティ化された製品であり、多くの革新が見られますが、ブランド効果、ネットワーク効果、ロックイン効果はありません。この問題で利益を上げることは、どの太陽光発電会社にとっても困難です。 、そしてこれも 物事は私たちの目の前で世界を変えています。

したがって、今、あらゆるものが太陽光発電のように活況を呈しているからといって、それが必ずしも会社の利益につながるかどうかは、私にはまったくわかりません。しかし、私は確かにその可能性に対してオープンです。ただ知りたいのですが、ソースは何だと思いますか？なぜ人工知能の発展はこれまでと違うのでしょうか?

ダリオ・アモデイ：

太陽光発電？これはほとんどの世界において重要な質問だと思うので、ここには 2 つのポイントがあると思います。おそらく私が言いたいのは、もしスケーリングの法則が正しければ、これは非常に巨大な市場になるだろう、ということです。たとえ利益の 10% がサプライチェーンの特定の部分に渡ったとしても、それは依然として莫大なものです。

パイが大きくなるにつれて、それが最も興味深い問題になりますが、ドル紙幣をどのように分配するかを決定する人々は、確かに1兆ドルがどこに行くのかについて非常に懸念しているでしょう。しかし、あなたの質問に戻りましょう。それは世界中で重要だと私は思うからです。問題の核心は、分割する「パイ」がどれだけ大きいかです。

まず、モデル側では、スケーリング則に依存します。数百億または数千億のパラメータを使用してモデルを構築する場合、関与するのはおそらく 4 ～ 5 の事業体 (おそらく一部の国営企業) にすぎないでしょう。したがって、私たちが目にしているのは、完全な独占や完全なコモディティ化というよりは、むしろ寡占に近いものかもしれません。

ここで 1 つの疑問は、10 億または 100 億のパラメータを持つオープンソース モデルをリリースする人はいるのか、ということだと思います。私は懐疑的です。たとえそのようなモデルがリリースされたとしても、そのような大規模なモデルの推論におけるランニングコストは非常に高く、コストのほとんどはモデルのトレーニングではなく推論に費やされます。より優れた推論方法を持っていれば、たとえ 10%、20%、または 30% の改善でも大きな影響を与える可能性があります。経済学は少し奇妙で、償却しなければならない莫大な固定費ですが、推論の単位コストもあり、その前提の下で十分に広く展開すると、その差は巨大になる可能性があります。これがどうなるかはわかりません。

ノア・スミス：

これは実際、鉄鋼の製造方法などの重工業の経済学に似ています。

ダリオ・アモデイ：

はい、少しです。興味深いことに、もう 1 つ言えるのは、これらのモデルの中で、モデルが異なる個性を持っていることがわかり始めているということです。したがって、コモディティ化の可能性はありますが、寡占状態であっても、特定のモデルの展開方法はコモディティ化される可能性がありますが、わかりません。

しかし、その見方に反する力の 1 つは、次のようなものです。「おい、私はプログラミングが得意なモデルを作成し、あなたはクリエイティブ ライティングが得意なモデルを作成し、第三者はエンターテイメントが得意なモデルを作成した。」これらは選択であり、これらの選択を開始すると、それらを中心としたインフラストラクチャの構築が開始され、これにより、ある程度の差別化の前提条件が作成されるようです。

もう 1 つの差別化要因として考えられるのは、モデルに基づいて構築された製品です。理論的には、モデル層と製品層を分離できますが、実際にはそれらは相互に関連しており、組織間で作業するのは困難な場合があります。したがって、モデルに関しては共通のロジックがあり、多くの企業が同じ方向に向かっており、マルチモーダル機能を追加してモデルをよりスマートにし、推論を高速化しているにもかかわらず、製品は大きく異なります。

私たちが行ったこの「artifacts」プロジェクトを見ると、これはモデルの記述コードをリアルタイムで視覚化する方法です。私たちはこれを行っており、openai には独自のアプローチがあり、google には独自のアプローチがあります。これも企業の差別化の源泉の一つだと思います。

アプリの販売の経済性は、たとえ比較的薄いものであっても、モデルに基づいてますます厚くなっていることがわかりました。

エリック・トーレンバーグ：

スケーリング法が当てはまり、物事が私たちが考えているほど大きくなった場合、これらの企業はいつか国有化されると思いますか?それともどう思いますか？

ダリオ・アモデイ：

これは 2 つの状況に分けることができます。1 つはスケーリング則が正しい場合、もう 1 つはスケーリング則が間違っている場合です。それが間違っているとすれば、これは、インターネットや太陽光発電と同様に、他のテクノロジーよりも重要かもしれないが、前例のないテクノロジーではないということになります。現在の状況を踏まえると、国有化はされないと思います。

それが正しければ、私たちが構築しているモデルは、ノーベル賞を受賞した生物学者や業界のトッププログラマーと同等、あるいはそれ以上に優れていることになります。それが実際に国有化になるかどうかはわかりませんが、敵が我々に追いつくことができるか、あるいは敵と同じくらい早く配備できるかどうか、非常に懸念することになるでしょう。

04

スケーリングの法則

ai に影響を与えて新しいビジネス モデルを作成する

ノア・スミス：

人工知能がビジネスモデルに与える影響について質問があります。電気の話はご存知かと思いますが、基本的に電気を入手した当初、メーカーは蒸気発生器を解体しようとしたため、発電機は損失を被りました。その後、誰かが複数のワークステーションに並行して電力を供給できることを発見しました。これにより、製造の仕組みが変わり、1 つの大きな組立ラインが複数の小さなワークステーションに変わり、数十年にわたって大きな生産性の向上がもたらされました。

aiも同様ではないかと私は常々思っていました。インターネットも似たようなものだと思いますが、aiも同様で、最初は誰もがaiを人間だと思っているようです。実際に ai の数を人間の従業員の数と比較した人がいますが、これは個人に分解できないため、私には意味がわかりません。

このアプローチを模倣するプロキシベースのシステムを作成することもできますが、なぜでしょうか? ai が人間に直接置き換えられることを誰もが考えているのを目にしますが、私の主張は、これは第一段階であり、電気が蒸気ボイラーを直接置き換えるのは良い考えではないのと同じです。顧客サービスやその他の明確に定義された業務など、人間の直接の代替が機能するケースはほとんどないため、人々は少しがっかりすると思います。

しかし、この人間の直接の置き換えがうまくいくケースはほんのわずかだと思いますが、その後、ガートナーの誇大宣伝サイクルの崩壊を経験することになるでしょう。

クリエイティブな起業家の中には、人工知能を人間の代替品として利用しているだけでなく、新しいビジネス モデルを生み出すために利用していると言う人もいます。その後、再び好況期が訪れる、というのが私の予測です。 gartner 風の予測、私はおかしいでしょうか?

ダリオ・アモデイ：

したがって、これには私が同意する部分と同意できない部分が混在していると思います。まず第一に、現行モデルの品質を凍結するのであれば、あなたの言うことはすべて正しいということに基本的に同意します。私たちは基本的にビジネスでも同様のことを観察します。会話ができるモデルを提供するだけでなく、apiを介して多くのお客様にモデルを販売することもできます。人々はモデルを最適に使用する方法を見つけるのに長い時間を費やしました。

モデルの信頼性については多くの質問があり、これが懸念の原因になっていると思います。たとえば、モデルは 95% の確率で正しい答えを返しますが、5% の確率ではそうではありません。こうした状況をどのように検出し、どのように対処するのでしょうか。エラー処理を処理する 非常に重要です。これは理論上役立つことと実際に役立つこととは大きく異なります。

私たちは初期の段階で、モデルにコードを記述させ、そのコードをコンパイラまたはインタプリタに貼り付けて javascript ビデオ ゲームを作成し、何か問題が発生した場合はモデルに戻って修正できる機能を持っていました。大きなモデルが小さなモデルをコーディネートしている姿も見られますが、これはモデルが人間であるという考えとは大きく異なります。

当社には、より大型で強力なモデルと、より高速で安価でインテリジェント性が低いモデルがありますが、一部のお客様は、大型モデルがタスクを多数の小型モデルに分散し、それらのモデルが大型モデルに報告を返してタスクを完了できることに気づきました。群れ。

私たちはまた、これらの問題を解決するためにますます賢くなっているモデルを使用する最適な方法を模索しています。したがって、最終的には、スケーリングの法則が存続するかどうかということになります。継続すると、あなたが説明したようなプロセスになるでしょう。もし彼らが止まったら、イノベーションは止まり、あなたが説明したプロセスは終了します。

スケーリングの法則が永遠に続くとは誰も信じるべきではありません。これは単なる経験上の観察であり、いつ停止する可能性もあります。私は彼らを10年間観察してきましたが、彼らが止まらないという私の推測は、私が彼らを観察してきた期間に基づく60対40または70対30の命題にすぎません。

エリック・トーレンバーグ:

何があなたの意見を変えるでしょうか？そこであなたのオッズを変えるものは何でしょうか？

ダリオ・アモデイ：

まず、モデルをトレーニングしてから次のスケール モデルを試してみると、結果は非常に悪いものになると思います。何度か修正しようと試みましたが、それでもうまくいかず、ああ、この傾向は止まっているのかもしれない、と思いました。

データ不足に問題があり、このプロセスを続行するのに十分な合成データを生成できない場合は、ある時点で、「これは実際には難しいようだ、少なくともこの傾向は一時停止する、おそらく停止するだろう」と言うでしょう。止まらないかもしれない。私はまだそのようなことは起こらないと推測していますが、ご存知のとおり、これは非常に複雑な問題です。

05

ai は生物学的発見を 100 倍スピードアップできる可能性がある

世紀の時間を圧縮して進む

ノア・スミス：

ai リソースのボトルネックがエネルギーよりもコンピューティング能力にある場合、ai を使用することでより多くの比較優位性が得られることになります。この見解に基本的に同意しますか?

ダリオ・アモデイ：

はい、それは理にかなっていると思います。つまり、少しばかげた比喩を使うと、ai がサイバーマンのようなもので、その作成と繁殖のプロセスが人間と非常に似ている場合、私たちは問題に陥ります。しかし、それがまったく異なる入力を備えたどこかの単なるサーバーのクラスターであれば、問題はありません。

これについて深く考えたことはありませんが、一見すると意味があるように思えます。 ai が世界を再構築し、経済構造が変化している状況に私たちがいるとしたら、別のことを話しているかもしれません。しかし、経済学の通常のルールが依然として適用され、しばらくの間は適用されると思われる場合、それは非常に合理的であるように思えます。

ノア・スミス：

しかし、私のもう一つの疑問は、極度に豊かな世界を考慮する必要があるのか​​ということです。 ai は非常に強力なので、私たちに驚くべき生物学と製造をもたらし、私たちが望むすべてのものを 10 倍、100 倍良くすることができます。

ダリオ・アモデイ：

私たちは生物学における人工知能の可能性を本当に過小評価していると思います。 10 年前、私がこの分野にいたとき、生物学から得られるデータの質には疑問があり、入手できるデータの量は限られており、実験はしばしば中断される、という考え方がありました。もちろん、より多くのデータ分析、ビッグデータ、人工知能は良いことですが、せいぜい補助的な役割にすぎません。おそらく、alpha fold の登場により、状況は変わります。

しかし、私の見解は、ai モデルは生物学者または共生物学者として機能できるということです。本当に高度な生物学について考えてみると、不釣り合いなほど複数のテクノロジーがすべてを動かしているようなものです。たとえば、ゲノムを読み取る能力であるゲノム配列決定は、現代生物学の基礎です。最新の crispr テクノロジーは、ゲノムを編集する機能です。 ai を正しく使用できれば、これらの発見を行う速度を 10 倍、おそらく 100 倍に高めることができます。

たとえば、crispr を考えてみましょう。crispr は細菌の免疫システムから組み立てられ、発明までに 30 年かかりました。これらの発見の割合を大幅に高めることができれば、病気の治癒率も大幅に向上すると思います。

私の考えは、21世紀の進歩を圧縮できるだろうか、ということです。 21 世紀の生物学的進歩をすべて ai を使って 10 倍加速することはできるでしょうか?20 世紀に私たちが生物学で成し遂げたすべての進歩を考えて、それを 5 ～ 10 年に圧縮すると、私にとってはそれが良い面だと思います。これは本当かもしれないと思います。何千年もの間私たちを悩ませてきた病気を治療することができ、当然、生産性が劇的に向上し、経済的パイが拡大し、人間の寿命が延びるでしょう。