ニュース

北京の新たな生産性を訪ねて・実験室の外へ|目に見えない大型モデル、目に見える生産性

2024-08-05

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

2017年、人工知能が初めて中国政府の活動報告書に盛り込まれ、国家戦略となった。2018年、北京知源人工知能研究所(以下、「知源」)が有力都市の小さなオフィスに誕生した。イノベーションスペース。当時、OpenAI が発表した第 1 世代 GPT モデルはまだメディアの見出しを飾っていませんでした。

2023 年、Zhiyuan は我が国初の超大規模インテリジェント モデル「Wudao」を 3.0 にアップグレードし、マイクロソフト社長ブラッド スミスの念頭にある世界で最も最先端の AI 機関の 3 つのうちの 1 つとなりました。大型模型の分野において、知源は大手メーカーの支援を受けていない世界で唯一の非企業研究機関であり、大型模型技術の研究開発を体系的に展開し、オープンに展開する中国初の新しい研究機関でもある。資源生態系の構築、人材育成、企業育成。

「科学技術における平等な権利は、過去においても常に大きな産業機会を生み出してきた。企業経験と研究機関での経歴の両方を有するZhiyuanの新社長である王忠源氏は、テクノロジーによって強化された産業についてより深い理解を持っている。」 。この国の人工知能の定義もより具体的であり、人工知能は新たな生産力を開発するための重要な原動力です。


嵐に先んじて頑張ってください

2024年の北京知源カンファレンスで、ダークサイド・オブ・ザ・ムーンの最高経営責任者(CEO)ヤン・ジーリン氏は一度や二度、少なくとも3回は参加者に囲まれた。1年前にOpenAIの創設者サム・アルトマン氏が知源カンファレンスでビデオスピーチをしたときも、同様に落ち着きのなさは明らかだった。 。

2023 年から 2024 年にかけて、AI 科学者、大手テクノロジー企業の CEO、スタースタートアップの創業者がさまざまな会場に集まり、技術専門家かどうかに関係なく、ステージ上の誰もが多かれ少なかれ聞いたことのある大規模モデルについて説教します。彼らの多くは当時、Zhiyuan の大規模模型研究プロジェクトに直接関与していました。 Baidu CTOのWang Haifeng氏はかつてZhiyuanの取締役を務め、Zhipu AI創設者のTang Jie氏はZhiyuanの副社長を務め、Yang Zhilin氏はWu Daoの研究開発に参加した。

これらの AI トレンドセッターは、今になって Zhiyuan に関与したわけではありません。また、Zhiyuan が大型モデルに関与したのは、モデルが人気になってからではありません。

知源は2019年に大型モデルのレイアウトを開始し、2020年に五道研究チームを設立し、大型モデルの研究開発を開始した。 2021 年 3 月に Wu Dao 1.0 大型モデルが初めてリリースされ、6 月には Wisdom が 1 兆 7,500 億のパラメータを使用して、当時 OpenAI の最も先進的な大型モデルの記録を作成しました。当時の大型モデル GPT-3 の 10 倍のパラメータ数。

科学研究では、質問をしたり判断したりする体性感覚に注目しています。 「人工知能の大型モデルの時代が到来する」という判断は、Zhiyuan に惜しみない勇気を与えた。「ビッグモデル」という中国語の用語も Zhiyuan が最初に提案したものである。

大型モデルとは何ですか? Zhiyuan Research Institute の所長である Huang Tiejun 氏は、次の 3 つの条件が満たされる必要があると考えています。1 つは大規模で、数百億を超えるパラメータが出現し、予期せぬ新しい機能を生み出すことができ、特殊な問題や分野に限定されず、多用途であることです。さまざまなタスク。

2023 年には大型モデルが一般公開される予定です。Wudao シリーズのモデルはバージョン 3.0 にアップグレードされ、言語、視覚、マルチモダリティなどの基本的な大型モデルをカバーしており、完全にオープンソースです。当時のスタンフォード大学での基本モデルに関する議論では、インテリジェント ソースは Google、Microsoft、Facebook (現 Meta) などのテクノロジー巨人と並び称され、世界の大規模モデル研究の代表的な機関となりました。

「歴史上、ほとんどの研究結果の出現は偶然であり、誰もそれを計画することはできませんでした。すべての努力は確率を高めること、つまり優れた研究者を集め、アイデアを衝突させ、問題を発見し、研究を行うことができるコミュニティ環境を提供することです。協力パートナーを見つける 「チューリング賞を受賞したヤン・ルクン氏の自伝に対して、知源研究所の創立会長である張宏江氏が書いた序文は、知源が最初に選ばれた理由に似ています。

システムエンジニアリングを行う

2018年初め、北京市は科学技術システムの飛躍的な改革を実行するため、「世界クラスの新たな研究開発機関の建設を支援するための北京実施措置」を公布した。 12月、科学技術省、北京市党委員会および政府の指導と支援を受けて、知源は正式に設立された。

以前は、科学研究の管理プロセスは複雑で、プロジェクトの提案からガイドのリリース、資金の申請と審査までのサイクルが長く、競争の激しい環境で絶えず変化する科学研究のニーズに適応することが困難でした。この制度によれば、研究機関は2020年10月にプロジェクト提案を出し、大規模モデル研究を正式に開始できるのは早くても2022年になる。 Zhiyuan モデルは、プロジェクトの設立から大型モデルの発売まで 5 か月未満かかりました。

大学と企業の新しいタイプの研究開発機関です。 Xin Zai は最終的な評価指標として論文を使用したり、製品を評価指標として使用したりするのではなく、清華大学、北京大学、Facebook 人工知能研究所などのさまざまな機関や企業の学者を集めて革新的なシステムを構築しています。 Baidu など。大きなこと、新しいことは、大きな問題に狙いを定め、主要な科学的問題に常に目を光らせ、将来を見据えた計画を立てることです。

「大学モデルは何十年も運用されており、組織的かつ大規模かつチーム横断的な方法で体系的な研究開発を行うことは困難です。企業も研究開発に投資しますが、緊密な研究開発を行う傾向があります。」志源氏はビジネスに関連した3対Aの研究プロジェクトを行う予定で、結果が出るまでに5年以上かかるだろう」と王忠源氏は北京経済日報の記者との独占インタビューで語った。

現時点でも、志源氏は人工知能に対する国の決意に自信を持っている。 2024年3月、中国共産党中央委員会政治局常務委員で国務院首相である李強氏は、北京での調査中に次のように明らかにした:人工知能は新たな生産力の発展の重要な原動力である。

新しい生産性とは、イノベーションが主導的な役割を果たし、従来の経済成長モードと生産性発展路線から脱却し、高度な技術、高効率、高品質の特徴を持ち、新しい開発概念に適合する高度な生産性状態です。それは、革新的な技術の進歩、生産要素の革新的な配分、そして徹底的な産業の変革とアップグレードから生まれました。 「科学技術における平等な権利は、これまでも大きな産業機会を生み出してきたが、大型モデルは科学技術に新たな平等をもたらすことができる」と王忠源氏は強く信じている。

たとえば、大きなモデルは「インテリジェンス」の担体であり、AI を中心とした波はインテリジェンス操作であり、最下層は技術的なソフトウェアとハ​​ードウェア システム、最上層は AI アプリケーションであり、大きなモデルはその 2 つの中間にあり、 「トランク」の役割を果たします。大型モデルの意義は、「知」を水道、電気、インターネットなどの公共サービスに変え、クラウドコンピューティングを通じて多数の企業や個人にAIサービスを提供することにある。

これは体系的なプロジェクトであり、「リソースと人材の集中的な投資が必要です。多くの人が行うことはできず、各人が別々に行う必要がありますが、技術システムを形成する必要があります。」と黄鉄軍氏は例を挙げた。製鉄や発電など、高品質の鉄鋼の生産と比較的低コストでの安定した発電を確保するには、完全な技術システムが必要です」と黄鉄軍氏は述べた。

業界を超えて

Zhiyuan が構築した技術システムには、大規模モデル ファミリ バケット、大規模モデル オペレーティング システム、データ セット、トレーニング フレームワーク、オペレーター ライブラリなどが含まれます。これらの成果とChi Yuanのビジョンと目標は、Chi Yuan Building 1階の壁に掲げられています。

ビジョンと目標は仕組みや産業発展など大きく5つのセクションに分かれており、それらをまとめるとイノベーションとなります。 「志源氏は、最先端の人工知能技術を開発し、人工知能の発展を先導し予測し、業界を超えて進んでいきたいと考えています。」と王忠源氏は詳しく説明した。研究開発、結果が出るまでに3年から5年、あるいはそれ以上かかる研究プロジェクト。」

大型機種の技術力がある程度のレベルに達すると、大きく2つの方向性があると見ており、「1つは製品との融合、応用の促進、商品価値の発揮という方向性。もう1つは少数の方向性だ。企業であれ研究機関であれ、主要な大規模モデルの反復と最適化を継続的に行う機関は、主要なテクノロジーに取り組み続ける必要があります。」

たとえば、マルチモダリティでは、ほとんどの国内企業が研究開発に DiT アーキテクチャを選択しています。 「これは、DiT が実績のあるルートだからです。Zhiyuan 氏は、最初からテキスト、画像、ビデオ、音声などのさまざまな情報を 1 つのモデルに組み込んでトレーニングしたいと考えていました。」 「この種のマルチモーダルな大型モデルは、世界を見て、理解し、推論することができます。将来的には、ハードウェアと結合した大型モデル、つまり身体化された知性が物理世界に入って人間に役立つようになる可能性があります。」

企業は市場に近づき、上向きのシナリオを模索しますが、研究開発機関はコア技術のブレークスルーに焦点を当て、下向きのサポートを提供します。これはアプリケーションやシナリオからは遠く離れていますが、オープンソースを支援として使用します。業界。

「人工知能は大型モデルに相当するものではなく、人工知能の一ジャンルにすぎない」と王忠源氏は北京経済日報の記者に説明した。今日のインテリジェント ソースは、脳に似た研究やデジタル心臓など、他の人工知能テクノロジーにも全力で取り組んでいます。これは、他の業界における人工知能の想像力に上限がないことを意味します。

北京商報記者ウェイウェイ