소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

머신하트 편집부

오늘 시장에는 Alibaba Tongyi Qianwen의 기술 중추인 Zhou Chang(별명: Zhong Huang)이 사업을 시작하기 위해 사임했다는 소식이 있습니다. Machine Heart 뉴스에 따르면 Zhou Chang은 실제로 사임할 예정이지만 최종 사임 날짜는 아직 도착하지 않았습니다.

Zhou Chang은 Tongyi Qianwen의 대형 모델에서 중요한 인물입니다. 2020년부터 2021년까지 그는 팀을 이끌고 초대형 다중 모드 사전 훈련 모델 M6을 설계하고 구현하여 매개변수 수와 저탄소 훈련 모드에서 획기적인 발전을 이루었습니다. 올해 Tongyi Qianwen의 오픈 소스 모델 Owen1.5-72B는 HuggingFace 모델 성능 목록(ChatArena)의 첫 번째 오픈 소스 모델이 되었으며 오픈 소스 커뮤니티에서 일반적으로 사용되는 모델 시리즈 중 하나이기도 합니다.

앞서 Zhou Chang은 DAMO Academy에 재직하는 동안 초대형 제품 그래프 표현 알고리즘 APP, 사용자 표현 프레임워크 ATRank, 자기 기반 벡터 리콜 알고리즘 CLRec 시리즈 개발 등 여러 프로젝트에서 중요한 역할을 담당했습니다. -지도 대조 학습.

Zhou Chang은 2012년 푸단대학교에서 컴퓨터 과학 및 기술 학사 학위를 취득하고, 2017년 북경대학교에서 컴퓨터 소프트웨어 및 이론 박사 학위를 취득한 후 학교 채용을 통해 Alibaba에 합류했으며 8년 넘게 Alibaba에서 근무했습니다. .

그는 딥 러닝, 그래프 마이닝 및 분산 컴퓨팅을 전문으로 하며 기계 학습, 데이터 마이닝 및 데이터베이스 분야의 주요 국제 회의에서 30개 이상의 기사를 발표했으며 NeurIPS/ICML/KDD와 같은 학술 회의의 검토자로 활동하고 있습니다. /WWW. Zhou Chang 팀의 연구 결과는 중국전자학회 과학기술진보상 1등상과 항저우 선도적 혁신 및 기업가 정신 팀상을 수상했습니다.

Workplace Bonus에 따르면 Zhou Chang에 대한 Alibaba 내부 평가는 다음과 같습니다. "그는 단일 분야 및 시나리오에 수직적인 것이 아니라 보다 범용적인 대형 모델을 만들고 싶어합니다."

현재 Zhou Chang 자신은 다음 계획에 응답하지 않았습니다.

Tongyi Qianwen 소개

Tongyi Qianwen은 Alibaba Tongyi Laboratory에서 독립적으로 개발한 대규모 언어 모델입니다. Tongyi Laboratory는 Alibaba 그룹 산하의 자연어 처리 연구소로, 그룹 산하의 각 사업 단위를 대상으로 일반 자연어 처리 기술을 연구하고 개발하는 데 전념하고 있습니다. 지능적인 언어처리 서비스를 제공합니다. 현재 Alibaba Tongyi 연구소의 책임자는 Zhou Jingren입니다.

2023년 4월 7일, Tongyi Qianwen은 초대 테스트를 시작했습니다.

2023년 4월 11일, 모든 Alibaba 제품은 향후 포괄적인 변화를 위해 Tongyi Qianwen 대형 모델에 연결됩니다.

2023년 8월 Tongyi Qianwen은 qwen-7b 모델을 오픈소스로 공개했습니다.

2023년 9월, Tongyi Qianwen은 같은 달 25일 공식적으로 대중에게 공개되었으며, Alibaba Cloud는 오픈 소스 Tongyi Qianwen 140억 매개변수 모델 Qwen-14B와 해당 대화 모델 Qwen-14B-Chat이 무료로 상업용으로 제공된다고 발표했습니다. 사용.

2023년 10월 31일 Tongyi Qianwen 2.0이 공식적으로 업그레이드되어 출시되었으며 이에 따라 Tongyi Qianwen 앱도 출시되었습니다.

2023년 12월 1일, Alibaba Cloud는 Tongyi Qianwen 720억 매개변수 모델 Qwen-72B, 18억 매개변수 모델 Qwen-1.8B 및 대형 오디오 모델 Qwen-Audio를 오픈소스화했습니다. 지금까지 Tongyi Qianwen은 18억, 70억, 140억, 720억 개의 매개변수 오픈 소스를 갖춘 총 4개의 대형 언어 모델과 2개의 다중 언어 모델을 통해 "풀 사이즈, 풀 모달리티" 오픈 소스를 달성했습니다. 모달 모드: 시각적 이해 및 오디오 이해.

2024년 1월 4일, Tongyi Qianwen 앱은 'Tongyi Dance King' 기능을 출시했습니다.

2024년 1월 26일, Tongyi Qianwen 시각적 이해 모델 Qwen-VL이 Max 버전을 출시했습니다.

2024년 3월 22일, 1,000만 단어의 장문 문서 처리 기능이 모든 사람에게 무료로 공개됩니다.

2024년 3월 29일, 첫 번째 MoE 모델 Qwen1.5-MoE-A2.7B가 오픈 소스로 공개되었습니다.

2024년 4월 3일, Tongyi Lingma는 Tongyi Qianwen APP에 공식 출시되었으며 대중에게 무료로 공개됩니다.

2024년 4월 7일, 320억 매개변수 모델 Qwen1.5-32B가 오픈소스로 공개되었습니다.

2024년 4월 28일, 1000억 수준 매개변수 모델 Qwen1.5-110B가 출시되었습니다.

2024년 5월 9일, Tongyi Qianwen 2.5 대형 모델이 출시되고 Tongyi로 이름이 변경되었습니다.

2024년 5월 현재 Tongyi Qianwen은 프로그래밍, 읽기, 오디오 및 비디오 처리, 캐릭터 생성, 금융, 고객 서비스, 건강, 법률 및 기타 분야를 포함하는 8가지 주요 산업 모델을 제공했으며 이는 코드 작성, 코드 읽기, BUG 확인, 코드 최적화, 긴 텍스트 피드 및 개요 얻기, 오디오 및 비디오 콘텐츠 처리, 개인화된 캐릭터 생성, 재무 보고서 및 연구 보고서 해석, 금융 산업 이벤트 및 기타 시나리오 분석.