nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

L’explosion des petits modèles d’IA est devenue une nouvelle arène pour les géants de l’IA.

La guerre des prix des grands modèles dure éternellement. Les entreprises d’IA qui ont investi d’énormes sommes d’argent ont un besoin urgent de progresser davantage dans leur business. Récemment, elles ont lancé leurs propres petits modèles peu coûteux et faciles à déployer. , et un nouveau cycle de compétition a commencé.

Tout d'abord, HuggingFace a publié SmolLM - 135M, 360M et 1,7B. Il n'utilisait que 650B de jetons pour la formation, mais ses performances dépassaient Qwen 1,5B et Phi 1,5B.

Le lendemain, Mistral AI et NVIDIA ont publié conjointement Mistral NeMo, appelé « le meilleur petit modèle de Mistral AI ». Il est facile à utiliser et peut remplacer directement n'importe quel système utilisant Mistral 7B.

Le même jour, OpenAI s'est lancé dans une « virée shopping » et a lancé une version mini de GPT-4o - GPT-4o Mini. Il a qualifié ce nouveau modèle de « modèle à petits paramètres le plus puissant et le plus rentable » et l'a considéré comme le modèle le plus puissant et le plus rentable. Le modèle d'affichage remplace la position « devant la scène » de la version Web de GPT-3.5.

Pour ne pas être en reste, Apple a sorti le petit modèle DCLM le même jour qu'OpenAI, et il était open source dès sa sortie. "Il s'agit du modèle véritablement open source le plus performant à ce jour", a déclaré Vaishaal Shankar, chercheur scientifique au sein de l'équipe ML d'Apple.

Ces modèles ont de petits paramètres et occupent moins de mémoire, dans des scénarios spécifiques, après un réglage fin, les résultats peuvent être comparables à ceux de grands modèles, ce qui en fait un choix rentable.

« Les petits modèles doivent être plus faciles à réaliser de la valeur. » Xu Xiaotian, architecte en chef des données et de l'intelligence artificielle d'IBM Chine, a déclaré dans une interview avec un journaliste du 21st Century Business Herald : « Un groupe de petits modèles professionnels coopère avec des agents pour réaliser l’intégration des flux commerciaux, de la fonctionnalité et de l’économie. Ce sera plus réalisable sexuellement.

Sur le champ de bataille des modèles génératifs d'IA, la vitesse d'itération est extrêmement rapide. Les « meilleurs » d'aujourd'hui peuvent être immédiatement vaincus par la nouvelle version de demain, et les « records historiques » sont constamment renversés et réécrits. "Les modèles sont mis à jour trop rapidement et il est difficile de juger. Un fabricant prétend qu'il s'agit du "plus grand et du meilleur", tandis qu'un autre fabricant prétend qu'il est "le plus petit et le meilleur"." Un observateur senior dans le domaine de l'intelligence artificielle. L'industrie a déclaré au 21st Century Business Herald Selon les journalistes, les modèles d'intelligence artificielle sont éblouissants. Si les entreprises d'IA veulent réussir dans les affaires, elles doivent travailler dix ou cent fois.

Source de l'image : Dessin créatif Xu Shuxing

La piste pour petits modèles s'ouvre en "rouleau"

Les géants de l’IA lancent intensivement de petits modèles pour rivaliser non seulement sur les performances mais aussi sur les prix.

Selon le site officiel d'Open AI, dans des tests de référence tels que MMLU, MGSM, HumanEval et MMMU, GPT-4o mini a démontré un meilleur raisonnement textuel et visuel et un meilleur raisonnement mathématique que les petits modèles tels que GPT-3.5 Turbo et Gemini Flash, Claude Haiku., les capacités de codage et de raisonnement multimodal, en particulier les capacités de raisonnement et de codage mathématiques, sont bien meilleures que GPT-3.5 Turbo et d'autres petits modèles, et légèrement plus faibles que GPT-4o. Dans le dernier classement des blind tests LMSYS, GPT-4o mini a également atteint la première place avec GPT-4o. Même le PDG d'OpenAI, Sam Altman, n'a pas pu cacher son enthousiasme et a déclaré sur la plateforme de médias sociaux : « Nous n'avons jamais été aussi excités. à propos de toute évaluation.

En plus d’excellentes performances, OpenAI propose également un atout à faible coût. Lors de sa mise en ligne le 18 juillet, OpenAI a annoncé que le prix du GPT-4o mini serait de 15 cents par million de jetons d'entrée et de 60 cents par million de jetons de sortie, soit plus de 60 % moins cher que le GPT-3.5 Turbo. Le 24 juillet, OpenAI a de nouveau annoncé que d'ici le 23 septembre, il fournirait gratuitement des mini services de réglage fin GPT-4o pour les utilisateurs de niveau 4 et 5, avec une limite quotidienne de 2 millions de jetons, et l'excédent serait facturé. à 3 $ US pour 1 million de jetons. OpenAI a déclaré : « Nous espérons que GPT-4o mini élargira le champ d'application de l'intelligence artificielle et rendra l'intelligence artificielle plus abordable. »

Le rapport de recherche de Ping An Securities estime que le GPT-4o mini est une nouvelle génération de « petit modèle » d'intelligence artificielle d'entrée de gamme avec un prix considérablement réduit, qui offre à la fois performances et rentabilité. Actuellement, les grands modèles du monde entier montrent progressivement une tendance de développement qui passe d'une concurrence unilatérale sur les performances à une compétition mettant à la fois l'accent sur les performances et l'aspect pratique. Lorsque les capacités des grands modèles atteignent un certain niveau, ils évolueront inévitablement vers l'application. En améliorant le rapport coût-performance de leurs produits et en favorisant la promotion et le déploiement d'applications en aval, les grands fabricants de modèles devraient accélérer la formation d'une boucle commerciale fermée dans le secteur. chaîne industrielle de grande taille.

Le modèle Apple DCLM publié après GPT-4o mini est également accrocheur. DCLM a entièrement open source le code, les poids, le processus de formation et les ensembles de données. DCLM est divisé en deux tailles : 1,4 milliard de paramètres et 7 milliards de paramètres. Sa version à 7 milliards de paramètres surpasse Mistral-7B, et ses performances sont proches de Llama 3 et Gemma. Sur le benchmark MMLU (5 tirs), le DCLM-7B a atteint une précision de 63,7 %. Selon les chercheurs, ces performances s'améliorent de 6,6 % par rapport au précédent modèle de langage de données ouvert de pointe MAP-Neo et nécessitent 40 % de calculs en moins. Plus important encore, ce résultat surpasse Mistral-7B-v0.3 avec une précision de 62,7 % et est proche de Gemma 8B avec une précision de 64,3 %, de Llama3 8B avec une précision de 66,2 % et de Phi-3 7B avec une précision de 66,2 %. de 69,9%.

Plutôt que « plus c’est gros, mieux c’est », Apple préfère emprunter la voie des petits modèles. En avril de cette année, Apple a annoncé une famille de quatre grands modèles pré-entraînés appelés OpenELM, qui étaient de taille extrêmement petite et qui se dirigeaient déjà vers l'objectif de « permettre à l'intelligence artificielle de fonctionner localement sur les appareils Apple ».

En juin, Apple a dévoilé sa feuille de route de développement de l'IA et prévoit d'intégrer en douceur les petits modèles dans les appareils mobiles, ce qui permettra non seulement d'atteindre l'objectif de « plus rapide et plus sûr », mais résoudra également le problème ultime de l'intégration des appareils et des modèles mobiles d'un seul coup. .

Mistral NeMo, construit en partenariat avec Mistral AI et NVIDIA, subit une étape avancée de réglage et d'alignement pour exceller dans le suivi d'instructions précises, le raisonnement, la gestion de plusieurs cycles de conversations et la génération de code. Il est entendu que Mistral NeMo s'adresse principalement aux environnements d'entreprise et vise à permettre aux entreprises de mettre en œuvre des solutions d'intelligence artificielle sans nécessiter de grandes quantités de ressources cloud.

Dans une interview avec Venturebeat, Bryan Catanzaro, vice-président de la recherche appliquée sur l'apprentissage profond chez NVIDIA, a expliqué les avantages des petits modèles. "Les petits modèles sont plus faciles à obtenir et à gérer et peuvent avoir différents modèles commerciaux car les gens peuvent les exécuter sur leurs propres systèmes à la maison", a-t-il déclaré.

Les grands modèles sont entrés dans la seconde moitié. Des volumes techniques aux applications, le marché s'intéresse de plus en plus aux modèles à haut rendement et à faible coût, plus faciles à déployer localement. Cela reflète le désir de sécurité, de confidentialité, de haute efficacité et de coût élevé. performance.

Les analystes du secteur estiment qu'il existe une nouvelle tendance claire dans le déploiement de l'IA, à savoir des modèles capables de fonctionner efficacement sur du matériel local, ce qui dissipe les inquiétudes de nombreuses entreprises concernant l'adoption à grande échelle de solutions d'IA, telles que la confidentialité des données, la latence et la haute sécurité. frais. "Cela pourrait rendre la concurrence plus équitable, et les petites entreprises aux ressources limitées bénéficieraient également de la bénédiction des modèles d'IA, comblant ainsi le fossé inhérent avec les grandes entreprises."

Prenez le volant de la piste pour petits modèles

Pourquoi les géants de l’IA ouvrent-ils de petites pistes de modélisme ? en partie ou pour des raisons de coûts.

Les grands modèles coûtent cher à développer et à exploiter, et même des géants comme OpenAI ont du mal à se les permettre.

Récemment, un initié a analysé que « OpenAI pourrait perdre 5 milliards de dollars cette année et risque de manquer de fonds dans les 12 mois ». Depuis mars de cette année, OpenAl a dépensé près de 4 milliards de dollars en location de serveurs Microsoft pour exécuter ChatGPT et son modèle de langage étendu (LLM) sous-jacent. En plus de gérer ChatGPT, les coûts de formation d'OpenAl, y compris les frais de données, pourraient atteindre 3 milliards de dollars cette année. L'année dernière, OpenAl a accéléré la formation de nouvelles IA plus rapidement que prévu initialement, selon des personnes proches du dossier. OpenAl avait initialement prévu de dépenser environ 800 millions de dollars pour ces coûts, mais a finalement dépensé beaucoup plus.

En comparaison, les petits modèles ont un faible coût, une réponse rapide et peuvent être exécutés localement, ce qui les rend plus adaptables à des besoins d'utilisation personnalisés et précis. Les initiés de l'industrie ont déclaré : « Avec la pénurie mondiale de matériel d'IA, les petits modèles signifient des coûts de déploiement et de formation inférieurs, et leurs effets de production sont suffisants pour gérer certaines tâches spécifiques. »

Un homme d'affaires responsable d'une entreprise nationale d'IA a déclaré à un journaliste du 21st Century Business Herald qu'une petite échelle de paramètres peut réduire considérablement les coûts d'inférence. Le coût du matériel requis pour la formation et l'ajustement du modèle est bien inférieur à celui d'un grand modèle. Les développeurs matures peuvent même former des modèles verticaux à faible coût, les coûts de ces opérations sont bien inférieurs à ceux des grands modèles.

La récente prédiction d'Andrej Karpathy, membre fondateur d'OpenAI et ancien directeur principal de l'IA chez Tesla, est tout à fait représentative. Il propose que la concurrence en termes de taille des modèles génératifs sera inversée pour rivaliser avec les modèles plus petits et plus intelligents.

Dans l'explication d'Andrej Karpathy, la raison pour laquelle le grand modèle actuel est si grand est qu'il est encore très inutile lors de l'entraînement. Bien que le grand modèle soit très bon en mémoire, cela signifie également que le grand modèle se souvient de beaucoup de détails non pertinents, et. ces contenus ne doivent pas être appelés à plusieurs reprises dans un problème spécifique.

Pour les petits modèles, les objectifs de formation deviennent plus simples, plus directs et plus efficaces, permettant à l’IA d’apprendre plus directement des informations plus utiles.

Toutefois, les grands modèles et les petits modèles ne sont pas des « choix », et leurs voies de développement ont toujours l'importance d'apprendre les uns des autres.

Andrej Karpathy a déclaré : « Le modèle doit d'abord devenir plus grand avant de pouvoir devenir plus petit. Parce que nous avons besoin de grands modèles pour reconstruire et façonner les données sous une forme idéale. Un modèle aide à générer des données d'entraînement pour le modèle suivant et obtient progressivement une formation parfaite. Ensuite, donnez-le au petit modèle, qui n’a pas besoin de se souvenir de tout, mais doit le consulter de temps en temps pour s’assurer qu’il est exact.

Robin Li a également déclaré lors de la Baidu AI Developer Conference Create 2024 que les applications natives d'IA à grande échelle à l'avenir seront essentiellement l'architecture Moe, qui est un mélange de grands et petits modèles. Robin Li a également déclaré qu'il est bien mieux de distiller un modèle de base via une compression de grand modèle, puis de l'entraîner avec des données que de former un petit modèle à partir de zéro. C'est mieux, plus rapide et plus rentable qu'un modèle formé sur la base d'un modèle open source. . Faible.