notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Relatório do coração da máquina

Departamento Editorial de Coração de Máquina

Hoje, há notícias no mercado de que Zhou Chang (apelido: Zhong Huang), a espinha dorsal técnica do Alibaba Tongyi Qianwen, renunciou para iniciar um negócio. De acordo com as notícias da Machine Heart, Zhou Chang irá de fato renunciar, mas a data final da renúncia ainda não chegou.

Zhou Chang é uma figura importante no grande modelo de Tongyi Qianwen. De 2020 a 2021, ele liderou a equipe para projetar e implementar o modelo de pré-treinamento multimodal de ultragrande escala M6, fazendo avanços no número de parâmetros e no modo de treinamento de baixo carbono. Este ano, o modelo de código aberto Owen1.5-72B de Tongyi Qianwen se tornou o primeiro modelo de código aberto na lista de desempenho do modelo HuggingFace (ChatArena) e também é uma das séries de modelos comumente usadas na comunidade de código aberto.

Anteriormente, Zhou Chang desempenhou um papel importante em vários projetos durante seu tempo na DAMO Academy, como o desenvolvimento do algoritmo de representação gráfica de produtos em escala ultralarga APP, a estrutura de representação do usuário ATRank e a série CLRec de algoritmos de recuperação de vetores baseados em si mesmo. - aprendizagem contrastiva supervisionada.

Zhou Chang se formou na Universidade Fudan em 2012 com bacharelado em ciência da computação e tecnologia e em 2017 com doutorado em software e teoria de computador pela Universidade de Pequim. Ele ingressou no Alibaba por meio de recrutamento escolar e trabalhou no Alibaba por mais de oito anos. .

Ele é especialista em aprendizagem profunda, mineração de gráficos e computação distribuída. Publicou mais de 30 artigos nas principais conferências internacionais nas áreas de aprendizado de máquina, mineração de dados e bancos de dados, e atua como revisor em conferências acadêmicas como NeurIPS/ICML/KDD. /WWW. Os resultados da pesquisa da equipe de Zhou Chang ganharam prêmios e honrarias como o Primeiro Prêmio de Progresso Científico e Tecnológico da Sociedade Eletrônica da China e a Equipe Líder de Inovação e Empreendedorismo de Hangzhou.

De acordo com o Workplace Bonus, a avaliação de Zhou Chang feita por especialistas do Alibaba é: “Ele realmente quer fazer um modelo grande que seja de uso mais geral, em vez de vertical para um único campo e cenário”.

Atualmente, o próprio Zhou Chang não respondeu ao próximo plano.

Sobre Tongyi Qianwen

Tongyi Qianwen é um modelo de linguagem em grande escala desenvolvido de forma independente pelo Alibaba Tongyi Laboratory é um laboratório de processamento de linguagem natural do Grupo Alibaba. Ele se dedica a pesquisar e desenvolver tecnologia geral de processamento de linguagem natural para cada unidade de negócios do grupo. fornece serviços inteligentes de processamento de linguagem. O atual chefe do Laboratório Alibaba Tongyi é Zhou Jingren.

Em 7 de abril de 2023, Tongyi Qianwen iniciou os testes de convite.

Em 11 de abril de 2023, todos os produtos Alibaba serão conectados ao grande modelo Tongyi Qianwen para uma transformação abrangente no futuro.

Em agosto de 2023, Tongyi Qianwen abriu o código-fonte do modelo qwen-7b.

Em setembro de 2023, Tongyi Qianwen foi oficialmente aberto ao público no dia 25 do mesmo mês, Alibaba Cloud anunciou que o modelo de código aberto Tongyi Qianwen de 14 bilhões de parâmetros Qwen-14B e seu modelo de conversação Qwen-14B-Chat são gratuitos para uso comercial; usar.

Em 31 de outubro de 2023, Tongyi Qianwen 2.0 foi oficialmente atualizado e lançado, e o aplicativo Tongyi Qianwen também foi lançado em conformidade.

Em 1º de dezembro de 2023, o Alibaba Cloud abriu o código-fonte do modelo de parâmetros de 72 bilhões de Tongyi Qianwen Qwen-72B, do modelo de parâmetros de 1,8 bilhões Qwen-1.8B e do modelo de áudio grande Qwen-Audio. Até agora, Tongyi Qianwen alcançou código aberto "tamanho total e modalidade completa", com um total de 4 grandes modelos de linguagem com código aberto de 1,8 bilhão, 7 bilhões, 14 bilhões e 72 bilhões de parâmetros, bem como dois multi- modos modais: compreensão visual e compreensão de áudio.

Em 4 de janeiro de 2024, o aplicativo Tongyi Qianwen lançou a função "Tongyi Dance King".

Em 26 de janeiro de 2024, o modelo de compreensão visual Tongyi Qianwen Qwen-VL lançou a versão Max.

Em 22 de março de 2024, a função de processamento de documentos longos de 10 milhões de palavras será aberta gratuitamente a todos.

Em 29 de março de 2024, o primeiro modelo MoE Qwen1.5-MoE-A2.7B foi de código aberto.

Em 3 de abril de 2024, o Tongyi Lingma foi lançado oficialmente no APP Tongyi Qianwen e está aberto ao público gratuitamente.

Em 7 de abril de 2024, o modelo de 32 bilhões de parâmetros Qwen1.5-32B foi aberto.

Em 28 de abril de 2024, o modelo de parâmetros de nível 100 bilhões Qwen1.5-110B foi lançado.

Em 9 de maio de 2024, o modelo grande Tongyi Qianwen 2.5 foi lançado e renomeado Tongyi.

Em maio de 2024, Tongyi Qianwen forneceu 8 modelos principais da indústria, envolvendo programação, leitura, processamento de áudio e vídeo, criação de personagens, finanças, atendimento ao cliente, saúde, direito e outras áreas, que podem ser aplicados à escrita de código, leitura de código, e verificação de BUGs, otimização de código, obtenção de feeds de textos longos e visões gerais, processamento de conteúdo de áudio e vídeo, criação de personagens personalizados, interpretação de relatórios financeiros, análise de eventos do setor financeiro e outros cenários.