ニュース

sergey brin: google は transformer を使う勇気がなかったので、作者は全員逃げてしまいました。今、私は毎日コードを書いています。

2024-09-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

編集者: ジアチー

世界最大の検索ビジネスを誇る google は、シリコンバレーにおいて常にユニークな存在であり続けています。検索によってもたらされる莫大な広告収入のおかげで、2 人の創設者であるサーゲイ ブリンとラリー ペイジは一歩下がって、平和に生活を楽しむことができます。

1997 年 9 月 15 日、サーゲイ ブリンとラリー ペイジは「google」という web サイトを登録しました。

chatgpt が世界中で普及したのは 2022 年末になってからであり、ai の波の元のリーダーである google は、その地位が逆転したことに気づいたようです。この 1 年で、私たちはこのテクノロジー巨人が「追い上げ」として現れることに慣れてしまったようです。

昨年以来、メディアは、セルゲイ・ブリンが第一線に戻り、自らコードを書いていることを明らかにしました。元最高経営責任者(ceo)のエリック・シュミット氏は、スタンフォード大学での講演で「週に1日しか働かない」という無秩序なシステムを「openaiに負けたら、このままではスタートアップにも負けるだろう」と直撃した。

シュミット氏がスタンフォード大学で講演

同時に、google がますます大きくなるにつれて、「大企業病」のいくつかの症状がますます明らかになってきました。 googleの辞任に関する多くの「エッセイ」は、googleの問題の根本が「テクノロジー」ではなく「文化」にあることを示している。たとえば、従業員には使命感が欠如しており、会社はリスクを回避するために煩雑なシステムやプロセスを設けている。

appsheet の創設者である praveen seshadri 氏は google からの退職を発表し、彼のブログによると、会社は道に迷い、従業員はシステムに閉じ込められてしまったという。

google の何が問題なのでしょうか? 「グーグル従業員の日々の生産性を実際に妨げているのは、人員不足、優先順位の変更、頻繁な解雇、賃金の停滞、経営陣によるプロジェクトのフォローアップの欠如である」とアルファベット労働組合は述べた。

googleは「chatgptの逆襲」で追い上げているものの、openaiのコメント欄でgpt-5のリリースを心待ちにするスタイルとは少々異なり、geminiが発表されると必ず「ひっくり返る」ことになる。最初にリリースされたときにデモ詐欺が発生して以来、ジェミニは人種的に偏見のある肖像画を作成し、誰もが毎日石を食べたり、ピザにチーズを貼り付けるのに接着剤を使用したりすることを示唆し、多くの批判を受けてきました。

先月、google は gemini の強化版をリリースし、gpt-4o ベースの音声アシスタントである gemini live もリリースしました。しかし、デモンストレーション中、gemini live は依然として問題を抱えていました。

8月に開催されたmade by googleのイベントでは、gemini liveの写真撮影と画像認識機能の最初の2回の試行は失敗し、成功したのは携帯電話を変えて3回目だった。

すでに経済的自由があるのに、なぜテクノロジーの最前線に戻る必要があるのでしょうか?度々「ひっくり返る」ジェミニをgoogleはどう見ているのか?テクノロジー大手との競争の中で、google の何が問題になっているのでしょうか?この大会ではどのような役割を果たすのでしょうか?昨日行われたオールインサミットでは、久しぶりにメディアの前に姿を現したセルゲイ・ブリン氏がインタビューで自身の見解を語った。

ブリン氏の要点は次のとおりです。

彼がテクノロジーの最前線に戻ることを決意したのは、ai 分野の進歩が非常に刺激的であり、コンピューター科学者としてこの波に乗り遅れるわけにはいかなかったからです。

ai技術は単なる検索の延長ではなく、より広範囲の変化に影響を及ぼします。

特定の分野に特化した「エキスパート モデル」と比較して、ブリン氏は一般的なモデルについてより楽観的です。これは、google が正式な証明モデルに関する特定の知識と能力を統合する試みを開始したためです。普遍言語モデル。

現在、コンピューティング能力に対する需要は安定していますが、「100 メガワットから 1 ギガワット、10 ギガワット、さらには 100 ギガワットまで」需要が急増することは困難です。

ブリン氏は、人工知能の応用分野では、生物学はai技術の応用を比較的うまく実装しているが、ロボット工学の分野はまだデモンストレーションを見て魔法を感じる段階にあり、実用化できるレベルに達していないと考えている。日常生活で使用されます。

aiは時として大きなミスをすることもありますが、適時にリリースする必要があります。 ai は、完璧になるまで胸に秘めて隠しておくようなテクノロジーではありません。 ai が「愚か」であることよりも恐ろしいのは、当時の google が transformer の導入にあまりにも臆病で、論文の著者全員が辞任したことです。

ai分野におけるテクノロジー大手間の競争は実際には良いことだが、ブリン氏は今後も大型モデルのランキングに細心の注意を払うだろう。

インタビューの全文は以下の通り。

ブリン: 最初はポッドキャストに参加するためだけに来たのだと思っていましたが、こんなにたくさんの視聴者がいるとは思っていませんでした。成功おめでとうございます。少し恥ずかしかったです。

司会者: お時間を割いていただき、ありがとうございました。現在、ai は世界を変える転換点にあります。 1998 年に、あなたとラリー ペイジは google を設立しました。最近はgoogleでaiの研究に携わっていると聞きました。大規模な言語モデルと会話型 ai ツールは google 検索に対する脅威であり、多くの業界アナリストや専門家の間で議論の的となっています。では、毎日どのくらい google の前に座っていますか?何してるの?

ブリン: 正直に言うと、私はほぼ毎日仕事に行っていますが、今日はあなたの番組に出演しなければならなかったので、一日休みました。コンピューター科学者として、私は近年ほど ai における刺激的な進歩を見たことがありません。 aiの進歩は本当に衝撃的ですね!

私が大学院生だった 1990 年代、ai はカリキュラムの中でほとんど重要性を持たず、教科書の脚注に過ぎませんでした。教科書で語られているのは、先人たちはさまざまな実験を行ったが、aiは実際には動かず、aiに取り組むことは「行き止まり」だということです。 ai について知っておくべきことはこれですべてです。

そしてどういうわけか、奇跡的に、ニューラル ネットワークに取り組んでいた人々は、1960 年代と 1970 年代に放棄されていた ai 手法で進歩を始めました - より多くの計算、より多くのデータ、より賢いアルゴリズム... 過去 10 年間に何が起こったかというと、ただただ素晴らしい。今日の ai ツールは、ほぼ毎月新しい機能をデモンストレーションすることができ、その機能はすぐに 2 倍になる可能性があります。コンピュータの能力は本当に驚異的です。そこで、コンピューターサイエンティストとして経験できるすべてを逃したくなかったので、テクノロジーの最前線に戻ることにしました。

モデレーター: ai は検索の拡張だと思いますか、それとも人々が情報を検索する方法を再定義すると思いますか?

ブリン: ai は日常生活のあらゆる側面に影響を及ぼしていると思いますが、検索もその 1 つです。 ai の影響はプログラミングを含め、ほぼあらゆるところに及んでいます。私は今、ai プログラミングについて異なる視点を持っています。コードをゼロから書くのは、特に ai プログラミングを指示するのと比べて、本当に大変ですよね。

司会者:aiを使って何をプログラムしましたか?

ブリン: 実際、私も趣味で少しコードを自分で書きます。 ai にコードを書かせることもありますが、その経験は非常に興味深いものです。たとえば、google の ai モデルがどれだけうまく sudoku を実行できるかを知りたいと考えています。そこで、私は ai モデルに、数独パズルを自動的に生成できる多くのコードを自ら書くように依頼し、これらの質問を ai にフィードして採点を行いました。 ai は、これらのコードを記述するタスクを十二分にこなします。

でも、エンジニアたちとそれについて話していると、何度もやり取りがあり、30分後に戻ってきたらaiが完成していました。彼らは感銘を受けていましたが、私が思っていたほどコーディングを支援するために ai ツールを使用していないことは明らかでした。

数独

司会者:それはとても面白いですね。数独パズルを解くのが得意なモデルもいれば、私の世界に関する事実情報に答えることができるモデルもいますし、家の設計に特化したモデルもいます。同時に、多くの研究者が一般的な大規模言語モデルの開発に取り組んでいます。将来はどのような道をたどると思いますか?

「神モデル」が存在するという発言がどこから出てきたのかわかりません。投資家が ai に資金を投じるのはこのためです。「神モデル」が開発されれば、agi があればすべてを支配できるようになります。あるいは、特定のアプリケーションに基づいた小規模なモデルが多数あり、エージェント内で連携します。モデル開発とアプリケーションは将来どのように進化すると思いますか?

ブリン: 10 ~ 15 年前を振り返ると、まったく異なる問題を解決するためにさまざまな ai テクノロジーが使用されていました。例えば、チェスのaiと画像生成技術は大きく異なり、それぞれが大きく異なります。

モデレータ: google が最近リリースした gnn モデルと同じように、すべての物理予測モデルよりも優れたパフォーマンスを発揮します。ご存知かどうかわかりませんが、これは google から送信されたものです。

ブリン: すごいんですが、分かりません(恥ずかしい)。

司会者:今回のモデルは全く異なるアーキテクチャです。

ブリン: 歴史的な観点から見ると、ai はさまざまなシステムに存在します。最近の国際数学オリンピック (imo) を例に挙げると、google のモデルは金メダルにあと 1 ポイントの差で銀メダルを獲得しました (詳細については、machine heart の以前のレポートを参照してください: google ai が imo 数学オリンピックの銀メダルを獲得、そしてその数学的推論モデル alphaproof の出現、強化学習が復活しました)。

実際、私たちは 3 つの ai モデルを使用しました。1 つは定理の証明を担当し、1 つは幾何学的問題に焦点を当て、もう 1 つは一般的な言語モデルです。しかし、ほんの数か月前、私たちは以前の研究から学び、形式的証明モデルの知識と機能の一部を一般的な言語モデルに組み込み始めようと試み始めました。

これは進行中の作業ですが、より統一されたモデルを構築する傾向にあると思います。それがいわゆる「神モデル」なのかどうかはわかりませんが、私たちがある種の共有アーキテクチャ、さらには共有モデルに向かって進んでいることは確かです。

司会者: これが将来の方向性だとすると、その非常に大規模なモデルをトレーニングして改善するには、必然的に膨大なコンピューティング リソースが使用されることになります。

ブリン: コンピューティング能力は不可欠です。コンピューティング能力の需要が 100 メガワットから 1 ギガワット、10 ギガワット、さらには 100 ギガワットへと急増すると予測する記事を読んだことがあります。これについては留保があります。近年、アルゴリズムの革新と最適化により、ハードウェアのコンピューティング能力の向上よりも大幅なパフォーマンスの向上がもたらされています。

司会者: では、現在のコンピューティング能力への多額の投資は不合理なのでしょうか?誰もが nvidia の収益、利益、時価総額について話しています。これらの大規模なモデルの構築を可能にするハイパースケール コンピューティングとインフラストラクチャの成長をサポートします。この傾向は本当に意味があるのでしょうか?おそらくそれは理にかなっていますが、そうでない場合、なぜ nvidia はこれほどの利益を得ることができるのでしょうか?

ブリン: まず始めに言っておきますが、私は経済学者でも市場アナリストでもありません。私の見解はコンピューター科学者の視点のみに基づいています。私たちにとって、膨大な需要に直面しているため、できるだけ早くコンピューティング クラスターを構築しています。たとえば、google cloud の顧客は、大量の ppu、gpu、その他すべてを必要としています。私たち自身も十分なカードを持っていなかったため、顧客を断らなければなりませんでした。また、独自のモデルをトレーニングしてデプロイするために社内のリソースに依存していました。したがって、大手企業がコンピューティングパワーを積極的に拡張するのは合理的だと思います。ただ、将来の計算能力需要が「100メガワットから1ギガワット、10ギガワット、さらには100ギガワットへ」増加することを現状から直接推論することは難しいと考えています。

ホスト: しかし、ビジネスニーズは存在します。

ブリン: 顧客はさまざまな ai モデルで推論タスクを実行し、それらのモデルを無限の新しいシナリオに適用したいと考えており、幅広いニーズがあることを理解しています。彼らのニーズは現時点では無限です。

司会者:ロボット工学でも生物学でも、aiの応用分野で最も大きな成果を上げているのはどの分野だと思いますか? 「おお、これは便利だ」と思った使用例はありますか?どの分野がより困難であり、アプリケーションの実装に予想よりも時間がかかる可能性がありますか?

ブリン: 私の答えは生物学です。アルファフォールドはしばらく前から存在しています。これは発売されてからしばらく経ちますが、生物学者と話すと、ほぼ全員がそれを使用しています。 alphafold の最新バージョンである alphafold 3 は、新しいタイプの ai テクノロジーを表しています。先ほども述べましたが、今後のトレンドはモデルの統一だと考えています。

ロボットに関しては、「わあ、このロボットが実際に家事をやってくれるんだ!」というような「すごい段階」にいますが、その背後には、魔法のように調整された一般的な言語モデルがあるだけかもしれないということを知っておく必要があります。ほとんどの場合、まだ日常的に使用できる状態にはなっていません。

司会者:ロボットの未来は見えますか?

ブリン: たぶん…でも具体的には見てなかった…

司会者:でも、googleもロボット事業をやっているんじゃないですか?その後取り壊されて売却されましたが。

ブリン: グーグルはロボット事業に携わっていた。

司会者:時期が悪いのかもしれませんね。

ブリン: 率直に言って、それはおそらく私たちが先を行きすぎていたからでしょう。ボストン ダイナミクスにはスター製品がたくさんありますが、google が何を作ったのかさえ思い出せません。とにかく、恥ずかしいけどカッコよくて印象に残る商品が5~6個ありました。現在の世界共通言語モデルがいかに有能であるか、そしてマルチモーダルテクノロジーによってロボットがシーンを理解できるようになるかを見ただけでも、当時それを考えるのはまだ少しばかばかしいことでした。これらの ai テクノロジーがなかった当時、私たちはトレッドミルの上で立ち止まっているようなもので、前に進むことができませんでした。

かつて google のロボット開発計画には、「android の父」アンディ ルービン、有名なロボット メーカーであるボストン ダイナミクス、そして有名な人型ロボット アトラスという好カードがあった...しかし、わずか 5 年で、年間を通じて、それは解散して再結成し、また解散して再結成する予定だった。幹部の辞任が相次ぎ、販売計画は中止され、大手企業の身売りも相次いだ…。

モデレータ: コア技術の研究開発に多くの時間を投資されていますね。製品にもかなり力を入れているのでしょうか? ai があらゆる場所に存在する未来の世界では、人間とコンピューターの相互作用の方法はどのように進化し、私たちの日常生活はどのように変化するのでしょうか?

ブリン: 同僚とお茶の間で話題になりそうです。

ホスト: 共有してもよろしいでしょうか?

ブリン: 気にしないでください、恥ずかしくないものを考えるのに苦労しています。

司会者:「あなたには友達がいます」という話をしても大丈夫です。

ブリン: 将来何が起こるかを言うのは本当に難しいです。アプリケーションを実現する基盤となるのがai技術です。例えば、爆発的なデモを公開した人がいて、それは特にすごかったのですが、デモから本番実装までには時間がかかります。 astra モデルを試したことがあるかどうかはわかりませんが、ライブビデオを再生でき、環境で何が起こっているかを知ることができます。

司会者:使えるんですよね?

ブリン: 必ずアクセスが集まります。場合によっては、私が最後にアクセスできる人の一人になることもあります。 ai を体験すると、人々は「なんてことだ、これはすごい」と思うかもしれませんが、その後「まあ、90% の確率ですべてが正しく動作します」と思うかもしれません。 「10% のケースでエラーや応答が遅い場合、このテクノロジは本当に十分なのでしょうか?」と疑問に思うかもしれません。したがって、高速で信頼性が高いことなどを保証するために、これらの詳細を改善するために懸命に取り組む必要があります。これが実際に実現すると、本当に素晴らしい成果です。

司会者: 話を聞いたんですが、ステージに上がる前に言っておきたいことがあります。発表イベントの前に、エンジニアのグループが ai を使用してコードを記述する方法を示しましたが、「壊れないようにしたいため、まだ gemini にデプロイしていません。」と述べていました。 google の企業文化。そのとき、あなたはこう言いました。「いや、コードが書けるから、立ち上げるべきだ」と多くの人が私にこの話をしてくれました。なぜなら、彼らは、「創設者であるあなたからこのような発言を聞くことは非常に重要です。なぜなら、それは保守主義が google を完全に引き継いでいないことを示しているからです。そして、google が今後もイノベーションをリードし続けることを期待しています。」と信じているからです。本当にそう言いましたか?

ブリン: 具体的な内容は覚えていない。正直に言うと、それは私がやりそうなことのように見えます。

司会者: 私にとって、これが問題になるのは、google が非常に大きいため、失敗すると多額の費用がかかるからです。

ブリン: それから、私にはまだ怖いものがあります。現在の言語モデルの出発点は、6 年か 8 年前の transformer 論文にまで遡ることができます。しかし、これらの論文の著者は全員googleを退職している。おめでとうございます!当時、私たちは transformer を導入するにはあまりにも臆病でした。

ブリン: そして、aiがどれほど強力であっても、時には間違いを犯したり、恥ずかしいことを言ったりすることもあります。しかし同時に、ai は私たちがこれまでにやったことのないことを支援できるようになりました。たとえば、私は子供たちと一緒にプログラミングをし、非常に複雑な問題に取り組んでいます。

ai に相談するだけで、直接プログラミングを開始し、通常は習得に 1 か月かかるさまざまな複雑な api やツールを学ぶことができます。この能力はほとんど魔法のようです。私たちは多少の間違いを犯し、リスクを負うことを覚悟する必要があります。この分野での対応は改善されたと思います。もちろん、ai が「愚か」な瞬間をたくさん見てきたかもしれませんが...

司会者:これは許容範囲です。結局のところ、あなたはすでに富と自由を持っており、膨大な株式を保有しています。つまり、この段階ではそれがとても重要なので、恥ずかしさを受け入れるつもりです。

ブリン: 私は株のためにこれをしているわけではありません、いいですか?しかし、考えてみてください、これらの間違いを本当に受け入れることができますか?これが私たちが世界に贈る魔法でしょうか?伝えなければいけないのは、「ほら、これすごいよ」ということだと思います。 ai は時として大きな間違いを犯すこともありますが、適切なタイミングで ai をリリースし、人々に実験してもらい、どのような新しい用途が見つかるかを確認してもらう必要があると思います。 ai は、完璧になるまで胸に秘めて隠しておくようなテクノロジーではありません。

司会者: ai は世界に非常に大きな影響を与え、google、メタ、amazon 間の単純な競争ではなくなるほど多くの価値を生み出すと思いますか?誰もがこれをビジネス戦争だと考えていますが、それは可能でしょうか? ai によって得られるパイは非常に大きく、誰が最高スコアのモデルを構築したか、誰の llm パフォーマンスが優れているかということをはるかに超えています。最高です? ai によってもたらされる幅広い可能性についてどう考えていますか?また、その中で google はどのような役割を果たす予定ですか?

ブリン: 大手テクノロジー企業がすべて競争しているので、競争はある意味非常に役立つと思います。ところで、数週間前のランキングでは google が 1 位でしたが、最後に確認したときは、依然として google がトップモデルを上回っていました。のみ......

司会者: 悪い指標がいくつかあります。したがって、モデルの評価を気にする必要があります。

ブリン: 気にしないとは言いませんでした。 chatgpt が登場したとき、google は本当に遅れをとっていましたが、今では大きな進歩を遂げています。私は google が現在進めているすべての進歩に非常に満足しています。ということで、今後もモデルランキングに注目していきたいと思います。 openai、anthropic、mistral に関わらず、これほど多くの ai 企業が存在することは良いことだと思います。これは、ai 分野が急速に拡大し、活力に満ちていることを意味します。

あなたの質問に対して、ai は人類にとって非常に大きな価値があると思います。私の学生時代を振り返ると、今のようにインターネットはなく、基本的な情報を入手したり、人々とコミュニケーションをとったりするのには多大な労力が必要でした。携帯電話が普及する前、私たちは世界中で機能の大幅な向上を達成してきましたが、今日の ai テクノロジーは間違いなく、機能のさらなる大きな飛躍です。現在、ほぼ誰もが何らかの方法で ai にアクセスできます。とてもエキサイティングで素晴らしいことだと思います。