notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

O vento oeste vem do Templo Aofei
Qubits | Conta pública QbitAI

O prêmio ICML 2024 Time Test Award foi anunciado, e o artigo em coautoria de Jia Yangqing ganhou o prêmio!

O artigo é intitulado "DeCAF: Um recurso de ativação convolucional profunda para reconhecimento visual genérico” é o trabalho concluído por Jia Yangqing e sua equipe enquanto estava na UC Berkeley, há 10 anos.

Os funcionários do ICML imediatamente twittaram seus parabéns. Jia Yangqing respondeu: "Estou profundamente honrado que o DeCAF tenha ganhado o prêmio ICML 2024 Time Test. Esta é uma década incrível para o desenvolvimento da inteligência artificial."

Um dos autores, atualmente vice-presidente do Google DeepMind e colíder do projeto GeminiVinil OriolYe Kaimai disse: “Muito obrigado por este prêmio (me faz sentir velho)”:

DeCAF é a primeira versão de código aberto do AlexNet e a usamos para testar se os recursos aprendidos por este excelente classificador ImageNet podem ser amplamente utilizados em outras tarefas de visão. Acontece que essa ideia ainda hoje é muito relevante com os melhores modelos multimodais!

Os dois antigos sócios também falaram sobre seu passado na área de comentários:

Este ano é realizado o 41º ICML, com mais de 9.000 submissões e uma taxa de aceitação de 27,5%. Além do Prêmio Teste de Tempo,O Prêmio de Melhor Artigo também foi anunciado, e os artigos Stable Diffusion 3 estão na lista.。

O artigo que ganhou o prêmio Time Test foi citado 6.012 vezes no Google Scholar:

Vejamos primeiro do que trata este artigo.

O antecessor do famoso framework Caffe

Este artigo propõe um método chamadoDeCAF(Recurso de ativação convolucional profunda) recurso de ativação de convolução profunda, usado para resolver problemas gerais de reconhecimento visual.

Ele explora principalmente se os recursos da camada intermediária de redes neurais convolucionais profundas pré-treinadas em conjuntos de dados rotulados em grande escala, como ImageNet, podem ser efetivamente transferidos para outras tarefas visuais, ou seja,Viabilidade de aprendizagem por transferência。

O autor adota o método proposto por Geoffrey Hinton, Alex Krizhevsky e Ilya Sutskever em 2012AlexNet Arquitetura de rede neural convolucional, incluindo 5 camadas convolucionais e 3 camadas totalmente conectadas. Após o pré-treinamento no conjunto de dados ImageNet, congele os pesos da rede.

As ativações de diferentes camadas são extraídas como características, incluindo DeCAF5, DeCAF6 e DeCAF7 (a ativação da última camada oculta). E treine apenas um classificador linear simples na nova tarefa, mantendo os recursos do DeCAF inalterados.

Para verificar a eficácia deste método, os autores conduziram experimentos em vários benchmarks padrão de visão computacional, incluindo reconhecimento de objetos (Caltech-101), adaptação de domínio (conjunto de dados Office), reconhecimento refinado (conjunto Caltech-UCSD Bird Data) e reconhecimento de cena. (SOL-397).

Resultados experimentais mostram que o DeCAF alcança excelente desempenho em todas essas tarefas, muitas vezes superando os melhores métodos da época.

O algoritmo t-SNE é usado para mapear recursos de alta dimensão no espaço 2D, demonstrando que os recursos DeCAF são superiores aos recursos tradicionais, como GIST e LLC em cluster semântico.

O DeCAF ainda funciona bem mesmo quando as amostras de treinamento são escassas, como o aprendizado de amostra única. O artigo também analisa detalhadamente a distribuição do tempo de cálculo de cada camada da rede e descobre que a camada totalmente conectada ocupa a maior parte do tempo de cálculo.

Além disso, o artigo também explora o impacto de técnicas de regularização como o dropout, especialmente sua aplicação nas camadas DeCAF6 e DeCAF7.

No final, o autor abriu o código-fonte da ferramenta de extração de recursos DeCAF e do modelo pré-treinado.

Depois que alguns internautas viram que este artigo ganhou o prêmio dez anos depois, de repente pensaram: “Essa é a origem do Caffe?”

Jia Yangqing também respondeu:

DeCAFNão treinar rápido o suficiente (Estimamos que o treinamento levaria mais de um mês), então mudamos para o Caffe. É por isso que um nome não contém cafeína e outro tem - tanto os humanos quanto as máquinas funcionam mais rápido.

Prêmio de Melhor Artigo

Além do Time Test Award, o ICML 2024 Best Paper Award também foi anunciado. Há 10 artigos vencedores este ano.

Isso inclui o papel Stable Diffusion 3 "Dimensionamento de transformadores de fluxo retificados para síntese de imagens de alta resolução”。

O cofundador e CTO da Pika, Chenlin Meng, participou de "Modelagem de difusão discreta por estimativa das proporções da distribuição de dados“Esse trabalho também ganhou um prêmio.

Links de referência:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796