ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

西風は蒼飛寺から吹いてくる
パブリックアカウント QbitAI

ICML 2024 Time Test Award が発表され、Jia Yangqing 氏の共著論文が受賞しました。

論文のタイトルは「DeCAF: 一般的な視覚認識のための深層畳み込み活性化特徴」は、10 年前にカリフォルニア大学バークレー校に在学中に Jia Yangqing と彼のチームが完成させた作品です。

ICML関係者らはすぐにツイートで祝福の意を表し、「DeCAFがICML 2024タイムテスト賞を受賞したことを大変光栄に思う。これは人工知能の発展にとって素晴らしい10年だ」と述べ、他の著者についても言及した。

著者の一人で、現在は Google DeepMind の副社長であり、Gemini プロジェクトの共同リーダーですオリオール・ヴィニャルズイェ・カイマイさんは「この賞をいただき、本当にありがとうございます（年をとったような気がします）」と語った。

DeCAF は AlexNet の最初のオープンソース バージョンであり、この優れた ImageNet 分類器によって学習された機能が他のビジョン タスクで広く使用できるかどうかをテストするためにこれを使用しました。このアイデアは、今日でも最高のマルチモーダル モデルに非常に関連していることがわかりました。

2人の古いパートナーは、コメント欄で自分たちの過去についても語った。

ICML は今年で 41 回目となり、9,000 件を超える応募があり、採択率は 27.5% でした。タイムテスト賞に加えて、Best Paper Awardも発表され、Stable Diffusion 3論文がリストに名を連ねています。。

Time Test Award を受賞した論文は、Google Scholar で 6,012 回引用されています。

まずこの論文の内容を見てみましょう。

有名なフレームワーク Caffe の前身

この論文では、と呼ばれる方法を提案しています。デカフェ(ディープ コンボリューション アクティベーション機能) ディープ コンボリューション アクティベーション機能。一般的な視覚認識の問題を解決するために使用されます。

これは主に、ImageNet などの大規模なラベル付きデータセットで事前トレーニングされたディープ畳み込みニューラル ネットワークの中間層の機能を他の視覚タスクに効果的に転送できるかどうかを調査します。転移学習の実現可能性。

著者は、2012 年に Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever によって提案された方法を採用しています。アレックスネット 5 つの畳み込み層と 3 つの完全接続層を含む畳み込みニューラル ネットワーク アーキテクチャ。 ImageNet データセットで事前トレーニングした後、ネットワークの重みをフリーズします。

DeCAF5、DeCAF6、DeCAF7 (最後の隠れ層の活性化) など、さまざまな層の活性化が特徴として抽出されます。そして、DeCAF の機能を変更せずに、新しいタスクで単純な線形分類器のみをトレーニングします。

この手法の有効性を検証するために、著者らは、物体認識 (Caltech-101)、ドメイン適応 (Office データセット)、きめ細かい認識 (Caltech-UCSD 鳥データセット)、シーン認識などの複数の標準コンピューター ビジョン ベンチマークで実験を実施しました。 (SUN-397)。

実験結果は、DeCAF がこれらすべてのタスクで優れたパフォーマンスを達成し、多くの場合、当時の最良の方法を上回っていることを示しています。

t-SNE アルゴリズムは、高次元の特徴を 2D 空間にマッピングするために使用され、セマンティック クラスタリングにおいて DeCAF の特徴が GIST や LLC などの従来の特徴よりも優れていることを示しています。

DeCAF は、単一サンプル学習など、トレーニング サンプルが不足している場合でも、依然として良好なパフォーマンスを発揮します。この論文はまた、ネットワークの各層の計算時間分布を詳細に分析し、完​​全に接続された層が計算時間のほとんどを占めていることを発見しました。

さらに、この論文では、ドロップアウトなどの正則化技術の影響、特に DeCAF6 層および DeCAF7 層への適用についても調査しています。

最終的に、作者は DeCAF 特徴抽出ツールと事前トレーニングされたモデルをオープンソース化しました。

10年後、この論文が賞を受賞したのを見た一部のネチズンは、突然「これがCaffeの起源なのか？」と考えた。

賈陽清さんもこう答えた。

デカフェ十分なスピードでトレーニングしていない (トレーニングには 1 か月以上かかると見積もっていました) そこで、Caffe に切り替えました。ある名前にはカフェインが含まれておらず、別の名前にはカフェインが含まれているのはこのためです。人間も機械もより速く動作します。

最優秀論文賞

今年はTime Test Awardに加えて、ICML 2024 Best Paper Awardも発表されました。

これらには、Stable Diffusion 3 論文が含まれます。高解像度画像合成のための整流フロー変圧器のスケーリング”。

Pika の共同創設者兼 CTO の Chenlin Meng 氏が「」に参加データ分布の比率を推定する離散拡散モデリング「この作品も賞を受賞しました。

参考リンク:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796