nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapport sur le cœur de la machine

Département éditorial de Machine Heart

Aujourd'hui, le marché apprend que Zhou Chang (surnom : Zhong Huang), l'épine dorsale technique d'Alibaba Tongyi Qianwen, a démissionné pour démarrer une entreprise. Selon les informations de Machine Heart, Zhou Chang va effectivement démissionner, mais la date définitive de sa démission n'est pas encore arrivée.

Zhou Chang est une figure importante du grand modèle de Tongyi Qianwen. De 2020 à 2021, il a dirigé l'équipe de conception et de mise en œuvre du modèle de pré-entraînement multimodal à très grande échelle M6, réalisant des percées dans le nombre de paramètres et le mode d'entraînement à faible émission de carbone. Cette année, le modèle open source Owen1.5-72B de Tongyi Qianwen est devenu le premier modèle open source sur la liste des performances des modèles HuggingFace (ChatArena), et est également l'une des séries de modèles couramment utilisées dans la communauté open source.

Auparavant, Zhou Chang a joué un rôle important dans plusieurs projets au cours de son séjour à la DAMO Academy, tels que le développement de l'algorithme de représentation graphique de produits à très grande échelle APP, le cadre de représentation des utilisateurs ARank et la série CLRec d'algorithmes de rappel vectoriel basés sur l'auto-évaluation. -apprentissage contrastif supervisé.

Zhou Chang est diplômé de l'Université de Fudan en 2012 avec une licence en informatique et technologie, et en 2017 avec un doctorat en logiciels et théorie informatique de l'Université de Pékin. Il a rejoint Alibaba grâce au recrutement scolaire et travaille chez Alibaba depuis plus de huit ans. .

Il se spécialise dans l'apprentissage profond, l'exploration de graphes et l'informatique distribuée. Il a publié plus de 30 articles lors de conférences internationales de premier plan dans les domaines de l'apprentissage automatique, de l'exploration de données et des bases de données, et est réviseur pour des conférences universitaires telles que NeurIPS/ICML/KDD. /WWW. Les résultats de recherche de l'équipe de Zhou Chang ont remporté des prix et des distinctions tels que le premier prix du progrès scientifique et technologique de la China Electronics Society et de l'équipe leader de l'innovation et de l'entrepreneuriat de Hangzhou.

Selon Workplace Bonus, l’évaluation de Zhou Chang par les initiés d’Alibaba est la suivante : « Il veut vraiment créer un grand modèle qui soit plus généraliste, plutôt que vertical sur un seul domaine et un seul scénario. »

À l'heure actuelle, Zhou Chang lui-même n'a pas répondu au prochain plan.

À propos de Tongyi Qianwen

Tongyi Qianwen est un modèle de langage à très grande échelle développé indépendamment par le laboratoire Alibaba Tongyi. Le laboratoire Tongyi est un laboratoire de traitement du langage naturel du groupe Alibaba. Il se consacre à la recherche et au développement de technologies générales de traitement du langage naturel pour chaque unité commerciale du groupe. fournit des services de traitement linguistique intelligents. Le directeur actuel du laboratoire Alibaba Tongyi est Zhou Jingren.

Le 7 avril 2023, Tongyi Qianwen a commencé les tests sur invitation.

Le 11 avril 2023, tous les produits Alibaba seront connectés au grand modèle Tongyi Qianwen pour une transformation complète à l'avenir.

En août 2023, Tongyi Qianwen a open source le modèle qwen-7b.

En septembre 2023, Tongyi Qianwen a été officiellement ouvert au public ; le 25 du même mois, Alibaba Cloud a annoncé que le modèle open source Tongyi Qianwen à 14 milliards de paramètres Qwen-14B et son modèle de conversation Qwen-14B-Chat sont gratuits à des fins commerciales. utiliser.

Le 31 octobre 2023, Tongyi Qianwen 2.0 a été officiellement mis à niveau et publié, et l'application Tongyi Qianwen a également été publiée en conséquence.

Le 1er décembre 2023, Alibaba Cloud a open source le modèle Tongyi Qianwen à 72 milliards de paramètres Qwen-72B, le modèle à 1,8 milliard de paramètres Qwen-1.8B et le grand modèle audio Qwen-Audio. Jusqu'à présent, Tongyi Qianwen a réalisé un open source « pleine grandeur et pleine modalité », avec un total de 4 grands modèles de langage avec 1,8 milliard, 7 milliards, 14 milliards et 72 milliards de paramètres open source, ainsi que deux multi- modes modaux : compréhension visuelle et compréhension audio.

Le 4 janvier 2024, l'application Tongyi Qianwen a lancé la fonction « Tongyi Dance King ».

Le 26 janvier 2024, le modèle de compréhension visuelle Qwen-VL de Tongyi Qianwen a lancé la version Max.

Le 22 mars 2024, la fonction de traitement de documents longs de 10 millions de mots sera ouverte gratuitement à tous.

Le 29 mars 2024, le premier modèle MoE Qwen1.5-MoE-A2.7B était open source.

Le 3 avril 2024, Tongyi Lingma a été officiellement lancée sur l'application Tongyi Qianwen et est ouverte au public gratuitement.

Le 7 avril 2024, le modèle Qwen1.5-32B à 32 milliards de paramètres était open source.

Le 28 avril 2024, le modèle de paramètres de niveau 100 milliards Qwen1.5-110B a été lancé.

Le 9 mai 2024, le grand modèle Tongyi Qianwen 2.5 est sorti et renommé Tongyi.

Depuis mai 2024, Tongyi Qianwen a fourni 8 modèles industriels majeurs, impliquant la programmation, la lecture, le traitement audio et vidéo, la création de personnages, la finance, le service client, la santé, le droit et d'autres domaines, qui peuvent être appliqués à l'écriture de code, à la lecture de code, et vérifier les BUG, ​​optimiser le code, obtenir de longs flux de texte et des aperçus, traiter du contenu audio et vidéo, créer des personnages personnalisés, interpréter des rapports financiers, analyser les événements du secteur financier et d'autres scénarios.