소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

서풍은 아오페이사에서 불어온다
Qubits 공개 계정 QbitAI

ICML 2024 Time Test Award가 발표되었으며, Jia Yangqing의 공동 저술 논문이 수상했습니다!

논문 제목은 "DeCAF: 일반 시각 인식을 위한 딥 컨볼루션 활성화 기능”는 10년 전 UC Berkeley 재학 중 Jia Yangqing과 그의 팀이 완성한 작업입니다.

ICML 관계자는 즉시 축하 트윗을 올렸습니다. "DeCAF가 ICML 2024 Time Test Award를 수상하게 되어 매우 영광입니다. 올해는 인공지능 발전에 있어 놀라운 10년입니다."

저자 중 한 명, 현재 Google DeepMind 부사장이자 Gemini 프로젝트 공동 리더오리올 비닐예 카이마이는 "이 상을 주셔서 너무 감사하다(늙었다는 느낌이 든다)"라고 말했다.

DeCAF는 AlexNet의 첫 번째 오픈 소스 버전이며, 이 우수한 ImageNet 분류기가 학습한 기능이 다른 비전 작업에 널리 사용될 수 있는지 테스트하는 데 사용되었습니다. 이 아이디어는 오늘날에도 최고의 다중 모드 모델과 매우 관련이 있는 것으로 나타났습니다!

두 명의 오래된 파트너도 댓글 영역에서 자신의 과거에 대해 이야기했습니다.

올해는 41회 ICML이 개최되며, 제출 건수는 9,000건이 넘고 합격률은 27.5%입니다. 타임 테스트 상 외에도최우수 논문상도 발표됐고, Stable Diffusion 3편의 논문도 목록에 올라 있다.。

Time Test Award를 수상한 논문은 Google Scholar에서 6,012회 인용되었습니다.

먼저 이 논문의 내용을 살펴보겠습니다.

유명한 프레임워크 Caffe의 전신

본 논문에서는 이라는 방법을 제안한다.디카프(Deep Convolutional Activation Feature) 일반적인 시각적 인식 문제를 해결하는 데 사용되는 Deep Convolutional Activation 기능입니다.

주로 ImageNet과 같은 대규모 레이블 데이터 세트에 대해 사전 훈련된 심층 컨벌루션 신경망의 중간 계층 기능이 다른 시각적 작업에 효과적으로 전달될 수 있는지 여부, 즉전이 학습의 타당성。

저자는 2012년 Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever가 제안한 방법을 채택했습니다.알렉스넷 5개의 컨벌루션 레이어와 3개의 완전 연결 레이어를 포함하는 컨벌루션 신경망 아키텍처. ImageNet 데이터세트에 대한 사전 훈련을 마친 후 네트워크 가중치를 고정합니다.

DeCAF5, DeCAF6 및 DeCAF7(마지막 숨겨진 레이어의 활성화)을 포함하여 다양한 레이어의 활성화가 특징으로 추출됩니다. 그리고 DeCAF 기능을 변경하지 않고 유지하면서 새 작업에 대해 간단한 선형 분류기만 훈련합니다.

이 방법의 효율성을 검증하기 위해 저자는 객체 인식(Caltech-101), 도메인 적응(Office 데이터 세트), 세분화된 인식(Caltech-UCSD Bird Data 세트) 및 장면 인식을 포함한 여러 표준 컴퓨터 비전 벤치마크에 대한 실험을 수행했습니다. (SUN-397).

실험 결과에 따르면 DeCAF는 이러한 모든 작업에서 뛰어난 성능을 달성하며 종종 당시 최상의 방법을 능가하는 것으로 나타났습니다.

t-SNE 알고리즘은 고차원 기능을 2D 공간으로 매핑하는 데 사용되며 DeCAF 기능이 의미 클러스터링에서 GIST 및 LLC와 같은 기존 기능보다 우수함을 보여줍니다.

DeCAF는 단일 표본 학습과 같이 훈련 표본이 부족한 경우에도 여전히 잘 작동합니다. 또한 본 논문에서는 네트워크의 각 레이어의 계산 시간 분포를 자세히 분석하여 완전 연결 레이어가 계산 시간의 대부분을 차지하는 것을 확인했습니다.

또한 이 논문에서는 드롭아웃과 같은 정규화 기술의 영향, 특히 DeCAF6 및 DeCAF7 레이어에 대한 적용을 탐구합니다.

결국 저자는 DeCAF 특징 추출 도구와 사전 훈련 모델을 오픈 소스로 공개했습니다.

일부 네티즌들은 10년 뒤 이 논문이 상을 받은 것을 보고 문득 '이게 카페의 유래인가?'라는 생각을 하기도 했다.

Jia Yangqing도 다음과 같이 응답했습니다.

디카페인충분히 빨리 훈련하지 않음 (교육에는 한 달 이상 걸릴 것으로 예상되어) Caffe로 전환했습니다. 그렇기 때문에 한 이름에는 카페인이 전혀 없고 다른 이름에는 카페인이 들어 있습니다. 인간과 기계 모두 더 빠르게 작동합니다.

최우수 논문상

Time Test Award 외에도 ICML 2024 Best Paper Award도 올해 10편의 수상 논문이 발표되었습니다.

여기에는 Stable Diffusion 3 논문이 포함됩니다.고해상도 이미지 합성을 위한 정류 유동 변압기 스케일링”。

Pika 공동 창립자이자 CTO인 Chenlin Meng이 참여했습니다.데이터 분포의 비율을 추정하여 이산 확산 모델링“이 작품도 상을 받았어요.

참조 링크:
[1]https://icml.cc/virtual/2024/어워드_세부정보
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/상태/1815653822028738667
[4]https://x.com/jiayq/상태/1815862939569774796