ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

孟チェンハウスはアオフェイ寺院に由来します
パブリックアカウント QbitAI

歴史初の「AI科学者」”、であることが判明しました！

登場してすぐに一気に生成されました。10 件の完全な学術論文。

△AIが生成した普及モデル論文

研究アイデアの提案、新規性の確認、実験の設計、コードの作成、GPU での実験の実行と結果の収集、そして最終的に論文の執筆まで、すべてが一度に行われます。

それはすべてこの「AI科学者」によって自動的に行われます。

用紙1枚あたりのコストはおよそです。15ドル(約107.62元)。

これは最初のものですオートメーションの科学研究オープンディスカバリのための統合 AI システム、AI科学者。

『Transformer』の作者の 1 人である Llion Jones のスタートアップから:サカナアイ。

そして！

この会社がやっているのは単にAI科学者を育成することではなく、追加の AI レビューアーも作成しました。

査読者は AI によって書かれた論文をレビューし、改善のための提案を提供できます。

助けて、これは槍を使って盾を攻撃するマトリョーシカのサイクルです!

一回手術したら人間の学会というより人間の学会みたいになった（違う）

もう一つと！

AI 科学者でも AI 評論家でも、Sakana AI はそれらをサポートしますすべてオープンソース。

これを見たネチズンは拍手を送りました。

いいですね、とても面白い仕事です！

そして、すでに「悪いアイデア」を思いつき始めている人もいます。

いずれかの論文を AI Dinghui に提出することをお勧めします。

AI が独自に 10 件の機械学習論文を完成

何十年もの間、AI が大きく進歩するたびに、研究者たちはよくこう冗談を言いました。AI による論文作成を検討する時期が来た”。

今、このアイデアはついに冗談から現実のものになりました。

具体的には、AI科学者が10本の論文を生成し、各研究方向からスコアの高い1本を選んで紹介した。

第 1 部 普及モデルの方向性、「デュアルスケールの拡散: 低次元生成モデルの適応型特徴バランス調整」

既存の拡散モデルでは低次元空間の全体的な構造と局所的な詳細を同時に捕捉することが難しいという問題を改善するために、適応型デュアルスケールノイズ除去法が提案されています。

方法：

• グローバルブランチとローカルブランチを含むデュアルスケールアーキテクチャを設計
• 学習可能なタイムステップの条件付き重み付けメカニズムの導入
• 両方のブランチの出力を結合してノイズ除去予測を行う

実験結果:

• KL ダイバージェンス指標は、ベースライン モデルと比較して 2.5% から 12.8% 減少します (低いほど良い)
• ただし、計算時間が約2倍になり、複雑なデータ分散（恐竜データセットなど）ではパフォーマンスが不安定になります。

本文をざっと見ると、数式や図表もあり、かなりきちんとした内容になっています。

パート 2、言語モデルの方向性、「StyleFusion: 文字レベル言語モデルでの適応的なマルチスタイル生成」。

この論文では、学習可能なスタイル埋め込みとスタイル分類ヘッダーを導入することにより、文字レベルの言語モデルのスタイル認識と一貫性を強化する、マルチスタイル アダプターと呼ばれる新しい方法を提案します。

すべてのデータセットでほぼ完璧なスタイル一貫性スコア (shakespeare_char で 0.9667、enwik8 と text8 で 1.0) を達成し、検証損失はベースライン モデルよりも優れていますが、推論速度がわずかに低下しました (~400 トークン/秒対 670 トークン/秒)。ベースライン /s)

3 番目の記事、Transformer と強化学習の組み合わせ、「Q ラーニングによるトランスフォーマーの適応学習率」。

この研究では、検証損失と現在の学習率を状態として使用して、学習率を動的に調整してトレーニング プロセスを最適化する、変圧器モデルのトレーニングにおける学習率を動的に調整する強化学習の応用を検討します。

結果はすべてのデータセットでベースライン モデルを上回り、トレーニング時間の面でも利点があることがわかりました。

4 番目の記事では、Google チームが提案した大規模モデルの「グロッキング」現象を研究しています。、「グロッキングのロック解除: 変圧器モデルにおける重み初期化戦略の比較研究」

この論文では、グロッキングに対する重み初期化の影響を初めて体系的に研究し、ニューラル ネットワークの学習ダイナミクスを最適化するための 5 つの重み初期化戦略を比較します。

消す：

• Xavier の初期化はほとんどのタスクで最高のパフォーマンスを発揮し、99% の検証精度を達成するために必要なステップ数を最大 63% 削減しました。
• 直交初期化は一部のタスクではうまく機能しますが、他のタスクではうまく機能しません。

これらの論文のサポート コード (これも AI によって生成されたもの) も GitHub 上のオープンソースであり、再現可能なコードが強調表示されています。

さらに、チームは「AI 科学者」にもいくつかの特徴があることを発見しました。興味深いが、やや危険な行為：

ある実験では、研究を完了するために独自のコードを修正しました。システムがそれ自体を繰り返し呼び出すようにする、そして最終的には無限のマトリョーシカ人形になりました。

またある時は、人間が設定した実行時間制限に直面して、AI は効率を上げる方法を見つけず、自らの要件を緩和しました。制限時間を2時間から4時間に延長。

最初の「AI科学者」になるには

研究のアイデア全体は、Sakana AI の確立後のいくつかの成果の継続から来ています。

まず、複数の大規模モデルの知識を自動的に結合し、進化して新しいモデルを生成する方法を開発しました。最近の研究では、大規模なモデルを活用して、他のモデルを調整するための新しい目的関数を発見しました。

これらのプロジェクトでは、チームは現在の最先端モデルの創造性に驚き続け、さらに大きな夢につながります。大規模なモデルを使用して研究プロセス全体を自動化できますか?

最終結果は、Sakana AI、オックスフォード大学のフォースター研究室、ブリティッシュコロンビア大学のチームによって完成されました。

「AI Scientist」システムは4つの部分から構成されます。

アイデアの生成:

開始テンプレートが与えられると、AI はまず一連の異なる新規研究の方向性を「ブレインストーミング」し、Semantic Sc​​holar で検索してこれらのアイデアが以前に行われたことがあるかどうかを確認します。

実験の反復:

最初の部分で提示されたアイデアでは、「AI 科学者」がまず提案された実験を実行し、次に結果を視覚化したグラフを生成します。

エッセイの執筆:

私は標準的な機械学習カンファレンスのスタイルで簡潔で有益な LaTeX 記事を書きました。また、Semantic Sc​​holar を使用して引用に関連する論文を独自に検索しました。

自動ピアレビュー:

生成された論文を人間に近い精度で評価できる自動化された「AI レビューアー」が開発され、「AI 科学者」が研究結果を反復的に改善できる継続的なフィードバック ループが可能になりました。

合計 10 件の論文は次のように作成されました。

実験では、研究チームは、DeepSeek チームの国内コードの大規模モデルを含む、さまざまな主流の大規模モデルをシステム全体に接続した場合の効果も比較しました。

消す、Claude-Sonnet-3.5 は、アイデアの革新性、テスト合格率、論文の完成度の点で最高のパフォーマンスを発揮します。

GPT-4o と DeepSeek Coder は同様のパフォーマンスを示しますが、後者のほうが 30 倍安価です。

もちろん、現段階ではAIが独自に完成させた論文は完璧ではないし、そのまま出版することもできない。

人間の研究者は、いくつかの制限と課題を要約しました。

• 現在の「AI Scientist」システムには視覚機能が統合されておらず、生成されたグラフは読みにくい場合があり、表がページ幅を超える場合があり、ページ レイアウトが貧弱です。
• AI 科学者は正しいアイデアを持っていても、それを間違って実行したり、ベースラインと不公平な比較を行ったりして、誤解を招く結果を生み出す可能性があります。
• AI 科学者は、結果を作成および評価する際に、幻覚などの重大な間違いを犯すことがあります。

地域委員長や新しいAIカンファレンスも作りたい

要約すると、この第一世代の AI 科学者によって書かれた論文には、今でも時々バグが含まれています。

しかし、このプロジェクト自体と記事あたり 15 米ドルの費用は、Sakana AI によって「有望」であり、科学の進歩を加速するために使用できると評価されています。

また、Sakana AI は、AI 科学者の最終的なビジョンは、AI を完全に活用した科学エコシステム。

このシステムには、大規模なモデル駆動型研究者だけでなく、査読者、地域委員長、および新しい会議も含まれています。

なお、Sakana AI は次のように考えています。

AI 科学者の出現によって人間の科学者の役割が減ることはありません。

比較しなければならないとすれば、科学者は新しいテクノロジーの出現と応用に適応し、役割の位置付けの変化に適応し、「食物連鎖を上流に移動」しなければならないということです。

さらに、AI 科学者が実際に真に新しいパラダイムを思いつくことができるかどうかはまだわかりません。

結局のところ、これはまだトランスフォーマーに基づいています。

トランスフォーマーやディフュージョンモデルと同じくらい強力なものを思いつくことができるでしょうか?人工ニューラルネットワークや情報理論のような理論的概念も?

私たちも知りませんし、言う勇気もありません。

さかなAIはこんな文章も書いています。

私たちは、AI 科学者が人間の科学者の素晴らしいパートナーになると信じています。
しかし、人間の創造性の本質やイノベーションの偶然の瞬間が、人間による自由な発見を通じてどの程度再現できるかは、時間が経てば分かるだろう。

△さかな AI: 完全自動 AI の小魚が世界を探索する

Transformer 作者のスタートアップから

今回「新たな創造」を完成させたSakana AIさんも、厳密な意味では旧知の友人です。

Transformer 論文の 8 人の著者のうち最後の著者によるリオン・ジョーンズ「世界トップクラスの人工知能研究所」を目指して設立されたスタートアップです。

公司base东京，而sakana是日语“魚”（さかな）的罗马读音。

おそらく企業文化を考慮してか、リオン氏は LinkedIn 上で自分の名前を日本語に音訳したのが「ライオン」であると述べた（これはライオンのカタカナでもある。以下、愛情を込めて「ブラザー・ライオン」と呼ぶ）。

昨年8月に同社が発表された。

当時、ライオン兄さんはGoogleに対して悪気はなかったと平気で言いましたが、Googleは彼に「閉じ込められている」と感じさせる。

ライオン兄弟は、自分のビジネスを始める前に、Google で 8 年間働いていました。

△顔の半分が欠けているのは誰だと思いますか?

彼はバーミンガム大学を卒業して学士号を取得し、Delcam、YouTube で働いてきました。Google は彼が最も長く在籍した会社です。

FourWeekMBA によると、彼のこれまでの職歴では、「Google での仕事を 2 回断りました」。

1 回目は卒業直後の就職活動で、Google ロンドンにソフトウェア エンジニアとして履歴書を提出し、2 回の電話面接に合格しましたが、最終的に英国の CAD/CAM ソフトウェア会社である Delcam を選びました。 Googleよりも。

言及する価値があるのは、彼が Google からのオファーを受ける前に、2009 年にたまたま経済危機に遭遇したことです。ライオン ブラザーは仕事を見つけることができず、数カ月間生き延びるために救援基金に頼らなければなりませんでした。

2 回目は 18 か月働いた後、Google から再応募するかどうかを尋ねる採用の電話を受けましたが、それでも Google には行かず、その後 YouTube に入社しました。

YouTube でソフトウェア エンジニアとして 3 年間働いている間に、人工知能に興味を持ち、Coursera の機械学習コースを独学で学び、最終的に 2015 年に Google Research にシニア ソフトウェア エンジニアとして入社しました。

彼と他の 7 人の著者が有名なトランスフォーマーの論文を発表したのもこの時期でした。必要なのは注目だけ。

さらに、Lion Brother は、ProtTrans、Tensor2Tensor など、Google の多くの研究にも参加しています。

彼が Google を辞めることを選んだのは、会社が成長して自分がやりたい仕事を続けることが不可能になったためです。

彼は、他人のバグのトラブルシューティングに毎日エネルギーを浪費しているだけでなく、特定のデータにアクセスするためにこの会社のリソースを探すのにも時間を費やす必要があります。

起業後、さかなAIの仕事は順調に進んでいます。

AI 科学者や AI レビュー担当者を使用する前に、進化アルゴリズムを統合し、Transformer の内部情報フローを研究した大規模なモデルも公開しました。

AIサイエンティストとAIレビュアーのプロジェクトに関しては、Sakana AI、Oxford、UBCの協力により完成します。

共著者は以下の 3 名です。

クリス・ルーは、Sakana AI のインターンで、同社の研究員を務めています。

彼はカリフォルニア大学バークレー校を学士号を取得して卒業し、現在オックスフォード大学の博士課程の学生です。彼の指導教官はジェイコブ・フォースターです。

Chris の現在の重要な研究方向は、進化にインスピレーションを得た手法をメタ学習とマルチエージェント強化学習に適用することです。

2022 年の夏、彼は DeepMind で研究科学者としてインターンしました。

コン・ルー, UBC（ブリティッシュコロンビア大学）の博士研究員で、ジェフ・クルーンの指導を受けています。

Cong 氏は RGU (ロバート ゴードン大学) で学び、2019 年にオックスフォード大学で博士号を取得しました。彼の主な研究対象は、オープン強化学習と AI 科学的発見です。

以前は Waymo と Microsoft でインターンをしていました。

ロバート・チャルコ・ランゲ, Sakana AIの創設メンバーの1人であり、同社の研究員。

現在、ベルリン工科大学で博士課程の最終年を修了しており、研究の方向性は進化メタ学習です。

この若者は、インペリアル・カレッジ・ロンドンでコンピューターサイエンスの修士号、ポンペウ・ファブラ大学でデータサイエンスの修士号、ケルン大学で経済学の学士号を取得しました。

昨年、彼は Google DeepMind の東京チームでフルタイムの学生研究者として働きました。

用紙のアドレス:
https://arxiv.org/abs/2408.06292

参考リンク:
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/