2024-07-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Rapport sur le cœur de la machine
Département éditorial de Machine Heart
Les internautes sont curieux de savoir si Mathstral peut résoudre le problème de « qui est le plus grand, 9.11 ou 9.9 ? »
Hier, le cercle de l'IA a été submergé par une question simple : « Qui est le plus grand, 9.11 ou 9.9 ? » Les grands modèles de langage, dont OpenAI GPT-4o, Google Gemini, etc., ont tous été renversés.
Cela nous permet de voir que les grands modèles de langage ne peuvent pas comprendre et donner des réponses correctes comme les humains lorsqu'ils traitent certains problèmes numériques.
Pour les problèmes mathématiques numériques et complexes, les modèles spécialisés sont plus spécialisés.
Aujourd'hui, la licorne française grand modèle Mistral AI a publié unLe modèle 7B « Mathstral » se concentre sur le raisonnement mathématique et la découverte scientifique, pour résoudre des problèmes mathématiques avancés qui nécessitent un raisonnement logique complexe en plusieurs étapes.
Ce modèle est construit sur Mistral 7B, prend en charge une longueur de fenêtre contextuelle de 32 Ko et suit l'accord open source de licence Apache 2.0.
Mathstral a été conçu en gardant à l'esprit un excellent compromis performances-vitesse, une philosophie de développement que Mistral AI promeut activement, notamment avec ses capacités de réglage fin.
En même temps, Mathstral est un modèle impératif qui peut être utilisé ou affiné. Les poids des modèles ont été placés sur HuggingFace.
Le graphique ci-dessous montre la différence de performance MMLU entre Mathstral 7B et Mistral 7B par matière.
Mathstral atteint des performances d'inférence de pointe à son échelle sur une variété de références standard de l'industrie. Surtout sur l'ensemble de données MATH, il a atteint un taux de réussite de 56,6 % et un taux de réussite de 63,47 % sur MMLU.
Dans le même temps, le taux de réussite de Mathstral en MATH (56,6 %) est supérieur de plus de 20 % à celui de Minerva 540B. De plus, Mathstral a obtenu un score de 68,4 % sur MATH avec un vote majoritaire de 64 et 74,6 % en utilisant le modèle de récompense.
Ce résultat a également rendu les internautes curieux de savoir si Mathstral peut résoudre le problème de « qui est le plus grand, 9.11 ou 9.9 ? »
Code Mamba : Mamba codestral
Lancé avec Mathstral 7B, il existe également un modèle Codestral Mamba spécialement utilisé pour la génération de code, qui utilise l'architecture Mamba2 et suit également l'accord de licence open source Apache 2.0. Il s’agit d’un modèle de guidage comportant plus de 7 milliards de paramètres que les chercheurs peuvent utiliser, modifier et diffuser gratuitement.
Il convient de mentionner que Codestral Mamba a été conçu avec l'aide des auteurs Mamba Albert Gu et Tri Dao.
L'architecture Transformer a toujours pris en charge la moitié du domaine de l'IA. Cependant, contrairement au Transformer, le modèle Mamba présente l'avantage d'un raisonnement temporel linéaire et peut théoriquement modéliser des séquences de longueur infinie. L'architecture permet aux utilisateurs d'interagir de manière étendue et rapide avec le modèle sans être limité par la longueur des entrées. Cette efficacité est particulièrement importante pour la génération de code.
Lors des tests de référence, Codestral Mamba a surpassé les modèles open source concurrents CodeLlama 7B, CodeGemma-1.17B et DeepSeek dans le test HumanEval.
Mistral a testé le modèle, disponible gratuitement sur l'API la Plateforme de Mistral, et peut gérer des entrées allant jusqu'à 256 000 jetons, soit deux fois plus que le GPT-4o d'OpenAI.
Avec la sortie de Codestral Mamba, certains internautes l'ont utilisé dans VSCode, et c'est très fluide.
Collectez et organisez les dernières informations d'actualité et rendez-les gratuites pour que tout le monde puisse les consulter.
