Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Западный ветер дует из храма Аофэй.
Кубиты | Публичный аккаунт QbitAI

Объявлена ​​премия ICML 2024 Time Test Award, и ее получила статья в соавторстве с Цзя Янцином!

Статья называется "DeCAF: функция глубокой сверточной активации для общего визуального распознавания» — это работа, завершенная Цзя Янцином и его командой в Калифорнийском университете в Беркли 10 лет назад.

Представители ICML немедленно написали в Твиттере свои поздравления. Цзя Янцин ответил: «Для меня большая честь, что DeCAF выиграл награду ICML 2024 Time Test Award. Это удивительное десятилетие для развития искусственного интеллекта».

Один из авторов, в настоящее время вице-президент Google DeepMind и соруководитель проекта Gemini.Ориол ВиньялсЕ Каймай сказал: «Большое спасибо за эту награду (я чувствую себя старым)»:

DeCAF — это первая версия AlexNet с открытым исходным кодом, и мы использовали ее, чтобы проверить, можно ли широко использовать функции, полученные с помощью этого превосходного классификатора ImageNet, в других задачах машинного зрения. Оказывается, эта идея и сегодня очень актуальна для лучших мультимодальных моделей!

Два старых партнера также рассказали о своем прошлом в комментариях:

В этом году проводится 41-я конференция ICML: было подано более 9 000 заявок и уровень принятия составил 27,5%. В дополнение к награде Time Test Award,Также была объявлена ​​награда за лучшую статью, и в список вошли статьи Stable Diffusion 3.。

Статья, получившая премию Time Test Award, была процитирована в Google Scholar 6012 раз:

Давайте сначала разберемся, о чем эта статья.

Предшественник знаменитого фреймворка Caffe

В данной статье предлагается метод под названиемБез кофеина(Функция глубокой свертки) Функция активации глубокой свертки, используемая для решения общих проблем визуального распознавания.

В основном он исследует, можно ли эффективно перенести функции среднего уровня глубоких сверточных нейронных сетей, предварительно обученных на крупномасштабных наборах размеченных данных, таких как ImageNet, на другие визуальные задачи, то естьВозможность трансферного обучения。

Автор использует метод, предложенный Джеффри Хинтоном, Алексом Крижевским и Ильей Суцкевером в 2012 году.АлексНет Архитектура сверточной нейронной сети, включающая 5 сверточных слоев и 3 полносвязных слоя. После предварительного обучения на наборе данных ImageNet заморозьте веса сети.

Активации разных слоев извлекаются как признаки, включая DeCAF5, DeCAF6 и DeCAF7 (активация последнего скрытого слоя). И обучайте только простой линейный классификатор новой задаче, сохраняя при этом функции DeCAF неизменными.

Чтобы проверить эффективность этого метода, авторы провели эксперименты с несколькими стандартными тестами компьютерного зрения, включая распознавание объектов (Caltech-101), адаптацию предметной области (набор данных Office), детальное распознавание (набор данных Caltech-UCSD Bird) и распознавание сцен. (САН-397).

Результаты экспериментов показывают, что DeCAF достигает превосходной производительности во всех этих задачах, часто превосходя лучшие методы того времени.

Алгоритм t-SNE используется для отображения многомерных объектов в 2D-пространстве, демонстрируя, что функции DeCAF превосходят традиционные функции, такие как GIST и LLC, в семантической кластеризации.

DeCAF по-прежнему работает хорошо, даже когда обучающих выборок недостаточно, например, при обучении по одной выборке. В статье также подробно анализируется распределение времени вычислений для каждого слоя сети и обнаруживается, что полносвязный слой занимает большую часть времени вычислений.

Кроме того, в статье также исследуется влияние методов регуляризации, таких как отсев, особенно их применение на слоях DeCAF6 и DeCAF7.

В конце концов, автор открыл исходный код инструмента извлечения признаков DeCAF и предварительно обученной модели.

После того, как некоторые пользователи сети увидели, что эта статья получила награду десять лет спустя, они внезапно подумали: «Это происхождение Caffe?»

Цзя Янцин также ответил:

Без кофеинаНедостаточно быстро тренируюсь (Мы рассчитывали, что обучение займет больше месяца), поэтому перешли на Caffe. Вот почему в одном названии нет кофеина, а в другом — и люди, и машины бегают быстрее.

Премия за лучшую бумагу

В дополнение к премии Time Test Award также была объявлена ​​награда ICML 2024 за лучшую работу. В этом году победителями стали 10 работ.

К ним относится статья «Стабильная диффузия 3»Масштабирующие выпрямленные преобразователи потока для синтеза изображений высокого разрешения”。

Соучредитель и технический директор Pika Ченлин Мэн принял участие в «Дискретное моделирование диффузии путем оценки коэффициентов распределения данных«Эта работа также получила награду.

Справочные ссылки:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796