les grands modèles commencent à apprendre à penser comme les humains. où est le chemin vers l’agi ?
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
il y a deux mois, le problème des faibles capacités mathématiques des grands modèles a attiré une large attention. de nombreux grands modèles sur le marché ne peuvent même pas répondre à la simple question mathématique « quel est le plus grand, 9,11 ou 9,9 ? » deux mois plus tard, l'industrie résout progressivement le problème des limitations des capacités mathématiques des grands modèles.
tôt le matin du 13 septembre, heure de pékin, openai a publié sans préavis une nouvelle série de modèles de raisonnement, comprenant trois modèles : o1-preview, o1 et o1-mini. il s’agit du « projet strawberry » d’openai, dont on parle depuis longtemps, avec des capacités de raisonnement avancées. selon openai, la nouvelle série de modèles a obtenu de bons résultats en termes de données et de codage, obtenant un score de 83 % à l'examen de qualification de l'olympiade mathématique internationale (omi).
openai n’est pas le seul à tenter de dépasser les limites des capacités mathématiques. l'équipe de google deepmind a également lancé le système alpha alphaproof, utilisé pour résoudre des problèmes mathématiques complexes.
repousser les limites des capacités mathématiques constitue une nouvelle étape dans l’évolution de la technologie de l’ia et sur la voie de l’agi (intelligence générale artificielle). selon simon see, professeur à l'université de coventry et directeur mondial du centre technologique d'intelligence artificielle de nvidia, les efforts de l'industrie pour améliorer les capacités mathématiques de l'ia incluent des efforts visant à combiner le llm (grand modèle de langage) avec d'autres technologies. les efforts dans différentes technologies créent un élan potentiel vers. agi (intelligence générale artificielle).
comment résoudre les limitations des capacités en mathématiques ?
"il s'agit d'une avancée majeure pour les tâches de raisonnement complexes et représente un nouveau niveau de capacités d'intelligence artificielle", a écrit openai lors de la présentation des modèles de la série o1. le pdg d'openai, sam altman, a également déclaré sur les plateformes sociales que le nouveau modèle est le début d'un nouveau paradigme, c'est-à-dire que l'ia peut effectuer un raisonnement complexe général.
les capacités mathématiques améliorées constituent une caractéristique importante de cette série de modèles. openai a introduit que les performances mises à jour de la nouvelle série de modèles sont similaires à celles des doctorants accomplissant des tâches de référence difficiles en physique, chimie et biologie. lors de l'examen de qualification de l'olympiade internationale de mathématiques (omi), gpt-4o n'a résolu correctement que 13 %. des questions, tandis que le nouveau modèle a obtenu un score de 83 %.
concernant la façon dont le nouveau modèle peut atteindre de meilleures capacités mathématiques et de programmation, openai a expliqué que la société utilise des algorithmes d'apprentissage par renforcement à grande échelle pour « apprendre » au modèle à utiliser des chaînes de pensée pour penser efficacement lors de la formation efficace des données, de la même manière que les humains pensent pour un longtemps avant de répondre à des questions difficiles. le temps, à mesure que l'apprentissage par renforcement augmente et que le temps de réflexion augmente, les performances o1 continuent de s'améliorer. le chercheur d'openai, noam brown, a déclaré que o1 ouvre une nouvelle dimension pour la mise à l'échelle des grands modèles (mise à l'échelle), de sorte que les grands modèles ne soient plus soumis au goulot d'étranglement de la pré-formation et puissent désormais également étendre les calculs d'inférence. quant au rôle des capacités de raisonnement améliorées, openai a déclaré qu'elle peut être utilisée pour annoter les données de séquençage cellulaire dans le domaine des soins médicaux et générer des formules mathématiques complexes dans le domaine de la recherche physique.
google deepmind améliore les performances finales du système d'ia en combinant d'autres technologies que llm. alphaproof est également basé sur l'apprentissage par renforcement et est un système de raisonnement mathématique. le système s'est entraîné pour prouver le langage de programmation lean, un langage de programmation utilisé pour aider à vérifier les théorèmes, combinant un modèle de langage entraîné avec l'algorithme d'apprentissage par renforcement alphazero. selon google, lean permet au système de vérifier l'exactitude des preuves d'un raisonnement mathématique. lorsqu'il est confronté à un problème, alphaproof génère des solutions candidates, puis recherche dans lean les étapes de preuve possibles à prouver ou à réfuter.
que les principes techniques soient similaires ou non, alphaproof et openai o1 ont tendance à réfléchir profondément par rapport aux modèles précédents et ne s'appuient pas uniquement sur la capacité de llm à prédire et à générer rapidement le prochain jeton (élément de mot).
comment accéder à l'agi ?
auparavant, un grand développeur de modèles avait déclaré aux journalistes que l'une des raisons de la faible capacité mathématique des grands modèles était qu'une grande quantité de données mathématiques de haute qualité n'était pas utilisée pour former le modèle. à mesure que la qualité des données s'améliore, le problème de la faiblesse mathématique se pose. la capacité peut être résolue. cependant, outre la raison des données de formation, les analystes du secteur affirment que les faibles capacités mathématiques de llm sont également dues au fait que la méthode de prédiction du prochain jeton n'est pas vraiment intelligente. à en juger par les tendances récentes, l'industrie, y compris openai et google deepmind, résout le problème des faibles capacités mathématiques et de raisonnement grâce au mécanisme d'exploitation des systèmes d'ia. en fait, elle utilise diverses technologies pour combler les lacunes des méthodes d'exploitation llm. , dans une certaine mesure. faites en sorte que llm pense davantage comme les humains.
concernant les limites des capacités du llm, comment résoudre des problèmes tels que la capacité mathématique et comment passer du llm existant à l'agi, l'industrie discute toujours des causes profondes et des solutions. de nombreux vétérans de l'industrie ont récemment organisé une conférence organisée par saudi data. et l'autorité de l'intelligence artificielle discuté lors du sommet mondial sur l'intelligence artificielle gain summit. lors du sommet, simon see a déclaré que l'intelligence artificielle actuelle est « étroite ». beaucoup de gens pensent que le llm deviendra le moteur de la réalisation de l'agi, mais en réalité, les gens ne comprennent pas vraiment comment cela fonctionne et sont encore sur le point de développer le llm. il reste encore de nombreux problèmes à résoudre, comme l’impossibilité de construire des modèles de plus en plus grands, faute de pouvoir fournir une énergie illimitée.
"nous disposons désormais d'une grande quantité de données. une fois que le modèle aura été suffisamment entraîné, des capacités apparaîtront. à mon avis, il n'est pas possible de s'appuyer sur une seule technologie. l'orientation sur laquelle l'industrie travaille actuellement inclut la combinaison du llm avec d'autres connaissances et des technologies telles que les nouveaux symboles, le calcul, etc. pour la compréhension et le raisonnement. " simon see a déclaré que la combinaison de différentes technologies a fait de grands progrès récemment. alphaproof de deepmind combine un langage de programmation lean, des modèles de langage, etc., afin que l'ia puisse être utilisé pour les preuves mathématiques. laissez llm combiner diverses technologies pour donner au système d’ia le pouvoir potentiel nécessaire pour conduire à l’agi.
antoine blondeau, co-fondateur et associé directeur d'alpha intelligence captal, estime également qu'il est acquis d'avance que les machines seront éventuellement meilleures que les humains, mais il faudra du temps pour arriver à ce résultat, et il reste encore beaucoup de recherches scientifiques. travail à faire. il a estimé que l’ia ne serait pas un modèle unique, mais pourrait être une combinaison de plusieurs modèles. la machine finira par apprendre à observer, prouver ou réfuter, à généraliser et à apprendre dans le monde réel comme les humains.
concernant le mécanisme actuel et les limites du llm, antoine blondeau estime que l'être humain apprend de la vie, dont 95 % s'apprennent grâce aux « vidéos avec son ». l'essence de notre vie est essentiellement « d'allumer la vidéo », et les 5 autres. % provient de textes, tels que des livres. les humains apprendront la sémantique à partir des vidéos. par exemple, lorsque cinq doigts apparaissent, cela signifie qu'il peut s'agir d'un humain ou d'un autre animal. les humains comprendront également la séquence de temps et les causes et effets des événements. mais lorsqu’une machine apprend d’une vidéo, sa tâche est de prédire le prochain pixel, ce qui n’est pas la manière humaine. si nous ne parvenons pas à faire apprendre aux machines comme les humains, il leur sera difficile d’atteindre des niveaux d’intelligence plus élevés.
alex smola, célèbre scientifique en apprentissage automatique et fondateur et pdg de la startup de grands modèles boson ai, a souligné que les limites du fonctionnement du llm sont également liées à la prédiction des jetons. il a déclaré que la capacité de llm à prédire le prochain jeton (élément de mot) a été utilisée pour comprendre des images, des sons, émettre des sons et qu'au cours des 12 derniers mois, tout semble être devenu un jeton.
"dans une certaine mesure, nous avons commencé à épuiser le nombre de jetons disponibles. une estimation approximative est qu'il pourrait y avoir 100 000 milliards de jetons, qui pourraient être les jetons que les humains peuvent utiliser pour créer des llm. il existe encore de nombreuses fournitures vidéo et audio, dans la mesure où cela entrera en jeu, cela dépend également de nvidia ou d'autres sociétés produisant des puces capables de gérer ces modes. alex smola a déclaré que dans un avenir prévisible, le cœur du llm pourrait être la modélisation de séquence (modélisation de séquence). , qui permet désormais de voir les données, la convergence matérielle et les modèles probabilistes évoluent également vers des structures similaires. nous pouvons voir jusqu'où l'exploration associée peut aller dans les prochaines années.
combinant progrès technologique et regard vers l'avenir, antoine blondeau estime que la réalisation de l'agi pourrait se faire d'ici 10 ou 20 ans, et que la vitesse d'évolution est désormais très rapide. simon see estime que pour atteindre l'agi, 80% du processus pourra être réalisé dans les 10 ans, mais il estime que les 20% restants seront très difficiles et prendront plus de temps.
(cet article provient de china business news)
