noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

El viento del oeste viene del templo de Aofei.
Qubits | Cuenta pública QbitAI

Se anuncia el premio ICML 2024 Time Test Award, ¡y el artículo en coautoría de Jia Yangqing ganó el premio!

El artículo se titula "DeCAF: una función de activación convolucional profunda para el reconocimiento visual genérico"Es el trabajo completado por Jia Yangqing y su equipo mientras estaban en UC Berkeley hace 10 años.

Los funcionarios de ICML inmediatamente tuitearon sus felicitaciones. Jia Yangqing respondió: "Me siento profundamente honrado de que DeCAF haya ganado el premio ICML 2024 Time Test. Esta es una década increíble para el desarrollo de la inteligencia artificial".

Uno de los autores, actualmente vicepresidente de Google DeepMind y codirector del proyecto Gemini.Vinilos OriolYe Kaimai dijo: "Muchas gracias por este premio (me hace sentir viejo)":

DeCAF es la primera versión de código abierto de AlexNet y la usamos para probar si las características aprendidas por este excelente clasificador ImageNet pueden usarse ampliamente en otras tareas de visión. ¡Resulta que esta idea sigue siendo muy relevante hoy en día con los mejores modelos multimodales!

Los dos antiguos socios también hablaron de su pasado en el área de comentarios:

Este año se celebra la 41ª ICML, con más de 9.000 presentaciones y una tasa de aceptación del 27,5%. Además del Premio a la Prueba de Tiempo,También se ha anunciado el premio al mejor artículo y los artículos de Stable Diffusion 3 están en la lista.。

El artículo que ganó el premio Time Test ha sido citado 6.012 veces en Google Scholar:

Veamos primero de qué trata este artículo.

El predecesor del famoso framework Caffe.

Este artículo propone un método llamadoDescafeinado(Función de activación convolucional profunda) Función de activación de convolución profunda, que se utiliza para resolver problemas generales de reconocimiento visual.

Explora principalmente si las características de la capa intermedia de redes neuronales convolucionales profundas previamente entrenadas en conjuntos de datos etiquetados a gran escala como ImageNet se pueden transferir de manera efectiva a otras tareas visuales, es decir,Viabilidad del aprendizaje por transferencia。

El autor adopta el método propuesto por Geoffrey Hinton, Alex Krizhevsky e Ilya Sutskever en 2012.AlexNet Arquitectura de red neuronal convolucional, que incluye 5 capas convolucionales y 3 capas completamente conectadas. Después del entrenamiento previo en el conjunto de datos de ImageNet, congele los pesos de la red.

Las activaciones de diferentes capas se extraen como características, incluidas DeCAF5, DeCAF6 y DeCAF7 (la activación de la última capa oculta). Y solo entrene un clasificador lineal simple en la nueva tarea manteniendo las características de DeCAF sin cambios.

Para verificar la efectividad de este método, los autores realizaron experimentos en múltiples puntos de referencia de visión por computadora estándar, incluido el reconocimiento de objetos (Caltech-101), la adaptación de dominio (conjunto de datos de Office), el reconocimiento detallado (conjunto de datos de aves Caltech-UCSD) y el reconocimiento de escenas. (DOM-397).

Los resultados experimentales muestran que DeCAF logra un rendimiento excelente en todas estas tareas, superando a menudo a los mejores métodos del momento.

El algoritmo t-SNE se utiliza para mapear características de alta dimensión en un espacio 2D, lo que demuestra que las características DeCAF son superiores a las características tradicionales como GIST y LLC en agrupación semántica.

DeCAF todavía funciona bien incluso cuando las muestras de capacitación son escasas, como el aprendizaje de muestra única. El artículo también analiza en detalle la distribución del tiempo de cálculo de cada capa de la red y descubre que la capa completamente conectada ocupa la mayor parte del tiempo de cálculo.

Además, el artículo también explora el impacto de las técnicas de regularización como la deserción, especialmente su aplicación en las capas DeCAF6 y DeCAF7.

Al final, el autor abrió la herramienta de extracción de características y el modelo de preentrenamiento de DeCAF.

Después de que algunos internautas vieron que este artículo ganaba el premio diez años después, de repente pensaron: "¿Es este el origen de Caffe?"

Jia Yangqing también respondió:

DescafeinadoNo entrenar lo suficientemente rápido (Estimamos que la capacitación tomaría más de un mes), así que cambiamos a Caffe. Es por eso que un nombre no contiene cafeína y otro la tiene: tanto los humanos como las máquinas corren más rápido.

Premio al mejor artículo

Además del premio Time Test, también se ha anunciado el premio ICML 2024 Best Paper. Este año hay 10 artículos ganadores.

Estos incluyen el documento Stable Diffusion 3 "Transformadores de flujo rectificados de escalado para síntesis de imágenes de alta resolución”。

El cofundador y director de tecnología de Pika, Chenlin Meng, participó en "Modelado de difusión discreta mediante la estimación de las proporciones de la distribución de datos"Este trabajo también ganó un premio.

Enlaces de referencia:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796