2024-08-07
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Produit | Groupe de réflexion Huxiu
Auteur | Huang Siyu
Image d'en-tête | Visuel Chine
À l'ère actuelle de transformation industrielle et d'afflux de nouvelles forces productives, l'intelligence incarnée introduit une série de technologies de pointe, telles que les grands modèles, les grands modèles multimodaux, les petits modèles visuels/tactiles, etc., dans les usines et les embarquements. en voyage pratique dans le domaine de la fabrication industrielle. Cependant, des scénarios industriels complexes et diversifiés posent de sérieux défis à l’intelligence incorporée. Par quelle scène commencer ? Comment puis-je basculer librement entre différentes scènes ? Comment obtenir les données complètes et de qualité nécessaires à ses systèmes intelligents ?
Par conséquent, à 19 heures le 30 juillet 2024, les collègues en ligne du Huxiu Think Tank 502 ont été invitésYin Zhi, consultant en chef de la Shanghai Artificial Intelligence Technology Association, Fu Yihui, directeur de Tashan Technology Ecology, et le Dr Zhao He, directeur technique de Weiyi Intelligent Manufacturing, ont discuté conjointement des applications innovantes des grands modèles dans le domaine de l'intelligence incarnée et ont partagé des cas d'application pratiques de l'intelligence incarnée et des robots humanoïdes.
Le meilleur vecteur d'intelligence incarnée sont les robots humanoïdes, dont la croissance repose sur de grands modèles
La combinaison de grands modèles et d’intelligence incorporée a donné certains résultats et ouvre de larges perspectives. Yin Zhi, consultant en chef de l'Association des technologies d'intelligence artificielle de Shanghai, a déclaré que les grands modèles peuvent être utilisés comme cerveaux de robots, dotés de capacités de planification et de raisonnement, et peuvent décomposer les objectifs en sous-objectifs et appeler des fonctions associées, bien que l'utilisation actuelle soit limitée. la direction a un grand potentiel.
Le Dr Zhao He, directeur technique de Weiyi Intelligent Manufacturing, estime que dans les scénarios industriels, en raison de la nature de leur travail, les robots non humanoïdes peuvent être plus adaptés aux scénarios de vie, mais qu'ils pourraient être une meilleure forme.
Le grand modèle renverse la méthode d'interaction homme-machine, permettant aux humains et aux machines de communiquer de manière naturelle, comme le texte, la voix et les images. La machine peut comprendre les intentions humaines et effectuer des opérations. Les grands modèles offrent une interaction efficace, permettant aux robots d'apprendre de nouvelles tâches et d'obtenir des exigences et des spécifications de fonctionnement spécifiques.
Fu Yihui, directeur écologique de Tashan Technology, convient que les grands modèles peuvent renforcer l'intelligence incarnée. Il a déclaré que les robots humanoïdes sont les meilleurs porteurs d'intelligence incarnée et que leur croissance dépend du développement de grands modèles. La création de robots humanoïdes qui pensent et se déplacent comme des humains ne repose pas seulement sur de grands modèles, mais implique également un apprentissage en profondeur, des algorithmes de contrôle de mouvement et une perception globale, telle que la perception tactile, la perception visuelle et la capacité de comprendre des environnements complexes et un raisonnement logique.
L'intelligence spatiale récemment mentionnée est basée sur le fait de permettre aux robots de voir le monde, permettant aux robots de mieux comprendre le monde, d'acquérir des connaissances et d'agir tout en observant le monde. Ainsi, selon ce principe, parvenir à une perception incarnée real2sim (le processus d'application d'un modèle entraîné dans un environnement de simulation à un environnement réel), permettant au robot de mieux percevoir le monde, est la condition préalable pour devenir un robot plus flexible.
L'intégration de grands modèles dans l'intelligence embarquée nécessite d'équilibrer la consommation d'énergie et les revenus.
Certains téléspectateurs ont demandé : « Si un grand modèle est intégré dans un robot intelligent, nécessite-t-il un support matériel supplémentaire ? Est-il nécessaire de rééquilibrer les performances et la consommation d'énergie ?
Le Dr Zhao He pense que c'est une bonne question. Lors de l'intégration de robots intelligents dans de grands modèles, la prise en charge matérielle et l'équilibre entre performances et consommation d'énergie doivent être pris en compte. L'intelligence incarnée au sens large, y compris les humains, doit équilibrer la consommation d'énergie et les avantages obtenus. Par exemple, le cerveau humain consomme peu d'énergie mais est intelligent. Cependant, le grand modèle actuel consomme de la puissance de calcul et de l'énergie lors de la formation et de l'inférence, ce qui ne peut pas répondre aux besoins des robots intelligents.
L'orientation future du développement est la suivante : premièrement, réduire considérablement la puissance de calcul et la consommation d'énergie des grands modèles grâce à la technologie ; deuxièmement, améliorer l'architecture et le paradigme du modèle ; troisièmement, développer des puces spéciales, telles que l'ASIC, pour augmenter la densité de l'intelligence ; c'est-à-dire l'intelligence de la puce par unité de surface. Dans cette mesure, grâce au durcissement logiciel, la puce spéciale développée est utilisée pour le raisonnement sur les modèles, etc., afin que la technologie des grands modèles puisse être appliquée efficacement aux robots intelligents incarnés.
Les grands modèles multimodaux constitueront un module important pour l’intelligence incorporée afin de réaliser des avancées technologiques telles que le contrôle et la prise de décision.
En termes de technologies clés telles que le contrôle, la prise de décision et la navigation de l'intelligence incarnée, Yin Zhi estime que le problème actuel des robots pilotés par de grands modèles de langage est qu'ils doivent convertir les informations en texte puis les traiter. une transition temporaire.À l'avenir, les robots devraient être capables de comprendre l'environnement de perception natif. Il n'est pas nécessaire de passer par le langage pour prendre des décisions de contrôle et de navigation, et il y aura beaucoup de logique dans la vision.
À l’avenir, les grands modèles pourraient utiliser des systèmes multimodaux pour améliorer les capacités d’intelligence, avec des modules responsables de différentes fonctions, tout comme le cerveau humain. À l'heure actuelle, il peut y avoir plusieurs petits modèles contrôlant respectivement différentes fonctions. Les grands modèles de robots de commande sont une forme de transition. Les grands modèles multimodaux sont une tendance, mais il faudra du temps pour améliorer d'abord les capacités intelligentes en combinant de petits modèles avec de grands modèles. .Cela dépend du Dans le développement de grands modèles, il y a encore un manque de données de grands modèles natifs multimodaux.
Zhao He a souligné qu'en termes de contrôle, l'introduction de l'asservissement visuel dans les robots industriels peut ouvrir le contrôle sous-jacent et les tâches de niveau supérieur, réduisant considérablement les coûts d'application en termes de navigation, le principe est la perception, y compris les informations multimodales ; comme le toucher et la température, mais l'efficacité de l'intégration de l'information multimodale présente de plus grands défis techniques, mais c'est une direction de développement positive. Permettre aux machines de comprendre les intentions humaines et les exigences des tâches grâce à un dialogue multimodal entre plusieurs personnes et à des tangentes flexibles complètes constituera un progrès révolutionnaire. Cela peut également fournir des normes intelligentes de base pour des robots industriels plus intelligents et permettre une production standardisée et une adaptation flexible sur site. .
Fu Yihui était d'accord avec le point de vue du Dr Zhao He. Il a mentionné que lorsqu'ils fournissent des capteurs tactiles aux robots humanoïdes, ils sont confrontés au problème de la fusion des données tactiles et des données visuelles, ainsi qu'à des problèmes tels que la perception de haute précision et les décisions complexes. la fabrication et la robustesse. Parmi eux, la fusion des données tactiles et des données de perception multimodale est la clé pour percer la perception incarnée. Les grands modèles multimodaux avec des données de détection tactile aident les robots à interagir dans des scènes complexes. Bien que les algorithmes traditionnels puissent implémenter certaines scènes après de nombreux entraînements, il existe encore des scènes non entraînées et il est difficile de couvrir les problèmes à faible probabilité. capacité.
Les scénarios d'application de fabrication industrielle commencent par la résolution de tangentes flexibles
Les robots industriels sont utilisés depuis longtemps, mais la plupart d'entre eux sont automatisés. Il existe des problèmes tels qu'un débogage complexe, un coût élevé et une faible efficacité. Le cœur de l'intelligence est de résoudre le problème des tangentes flexibles. Zhao He a partagé un certain nombre de cas d'application industrielle spécifiques, comme dans la chaîne d'assemblage, aidant les clients à résoudre les problèmes de réduction des coûts élevés et de difficulté d'ajustement des lignes de production. À l'origine, il fallait près d'une semaine à trois ingénieurs pour ajuster la chaîne de production afin que l'ensemble de la chaîne de production fonctionne à pleine capacité. L'utilisation de la technologie des robots industriels intelligents devrait améliorer cette situation.
Dans le processus d'inspection de la qualité, nous avons fourni une machine d'inspection de la qualité de l'apparence basée sur la technologie IA à une grande usine de plus de 3 000 personnes, remplaçant avec succès plus de 2 000 agents d'inspection de la qualité. Non seulement cela a réduit les coûts de main-d'œuvre, mais également les performances de la machine. n'était pas inférieur à celui du travail manuel et pouvait fonctionner 24 heures sur 24 sans interruption.
Dans le processus de post-traitement après détection des défauts, afin de résoudre les problèmes d'efficacité et de qualité causés par la saisie aveugle des travailleurs dans le processus de réparation par moulage sous pression, la technologie des robots industriels intelligents est utilisée pour combiner plusieurs robots pour former une série d'opérations telles que comme la détection des défauts, la planification de la trajectoire et le polissage. Le poste de travail intelligent résout les limites du fonctionnement manuel et a un impact positif sur le flux de processus des grandes pièces moulées sous pression.
L'intelligence incorporée et les puissantes capacités tangentielles flexibles amélioreront l'efficacité de la production industrielle.
L'amélioration de l'efficacité des entreprises se reflète dans deux aspects : le coût de la main-d'œuvre et l'efficacité de la production et de l'exploitation. Fu Yihui a souligné que du point de vue des coûts de main-d'œuvre, lorsque le prix des robots pourra mieux couvrir les coûts de main-d'œuvre, ils constitueront le nœud de la commercialisation. L'industrie des robots humanoïdes pourrait être plus grande que le marché de l'industrie automobile. En termes d'efficacité de production, les robots peuvent travailler 24 heures sur 24 et leur efficacité d'apprentissage est bien supérieure à celle des humains. Grâce à une prise de décision optimisée et à un contrôle précis, ils peuvent améliorer l'efficacité des opérations industrielles ou commerciales.
Zhao He estime que le premier problème commun dans l'industrie manufacturière réside dans les problèmes humains, tels que la difficulté de recruter et de retenir des travailleurs qualifiés. Les entreprises espèrent réduire leur dépendance à l'égard de la main-d'œuvre et réduire leurs coûts. Weiyi Intelligent Manufacturing a fabriqué une machine d'inspection de la qualité d'apparence basée sur la technologie IA pour une grande usine de plus de 3 000 personnes, remplaçant 2 000 agents d'inspection de la qualité, réduisant les coûts de main-d'œuvre, et les performances de la machine ne sont pas pires que celles des humains, et elle peut fonctionner 24 heures sur 24. heures par jour.
Deuxièmement, le coût de la découpe en ligne flexible est élevé, les modèles de production, d'approvisionnement et de commercialisation ont changé et les commandes en petits lots et en plusieurs lots ont augmenté. Le modèle de production traditionnel ne peut pas répondre à la demande du marché. doivent disposer de capacités de coupe de ligne flexibles, rapides et peu coûteuses, pour faire face aux nouveaux problèmes de l'industrie manufacturière, permettant aux entreprises d'améliorer l'efficacité de leur production.
Donnez la priorité à la mise en œuvre de scénarios dangereux et entrez dans des scénarios plus complexes à mesure que la capacité de généralisation augmente.
Il existe différentes opinions sur les scénarios dans lesquels des robots intelligents incarnés devraient être mis en œuvre en premier. Yin Zhi estime que l'industrie manufacturière a largement utilisé des équipements intelligents incorporés, tels que des bras robotiques, des robots logistiques, etc., et qu'elle sera davantage utilisée dans les liens d'assemblage, de logistique et d'entreposage de l'industrie manufacturière à l'avenir. deviennent également de plus en plus courants, y compris les maisons, les centres commerciaux, les communautés, etc. Les scénarios et les voitures autonomes constituent également une catégorie. Il a estimé que nous devrions commencer par des travaux que les humains ne veulent pas faire, ne conviennent pas ou sont dangereux et ennuyeux.
Fu Yihui estime que cela ne peut pas être simplement compris dans l'ordre de l'industrie, du commerce et de la famille. Les premiers à être mis en œuvre devraient être ceux qui ont des scénarios et des exigences de capacité relativement uniques, par exemple dans la chaîne de production automobile, l'installation et le câblage. les faisceaux de câbles embarqués reposent toujours sur le travail manuel, et les robots humanoïdes doivent être une solution de fusion de perception modale tactile et polyvalente dans des scénarios commerciaux, tels que les pharmacies remplaçant les employés pour récupérer les médicaments, le remplacement et le réapprovisionnement des supermarchés, le ravitaillement des stations-service et. charge, etc., il existe également des scénarios d'application dangereux ou spéciaux, qui peuvent remplacer les personnes engagées dans des travaux dangereux et éventuellement suivre l'humanoïde. Les capacités de généralisation du robot sont améliorées et il entrera dans des scénarios de collaboration et d'interaction à domicile plus complexes.
Grâce à un apprentissage par acquisition rapide et à des capacités de généralisation améliorées, il sera capable de résoudre de nombreux problèmes de scène complexes.
Concernant la manière d'améliorer la généralisation et la capacité générale de diverses compétences à être appliquées dans différents scénarios, Fu Yihui est parti du point de vue de la perception tactile, a collecté des données tactiles à travers des scènes réelles et a promu la formation par simulation pour améliorer le fonctionnement adroit du robot et la capacité de généralisation. de préhension. Dans les scénarios industriels, face à des objets saisis complexes et divers, il est nécessaire d'améliorer la généralisation des capacités tactiles ou de préhension pour résoudre le problème.
Zhao He estime qu'il n'existe actuellement aucun moyen pour les robots de tout faire sans apprendre. Dans les scénarios industriels, la généralisation et les capacités générales se reflètent dans l'intelligence de base, c'est-à-dire que grâce à des technologies telles que les grands modèles, les robots peuvent rapidement acquérir de nouvelles compétences. Si cette capacité peut être réalisée, ce sera une avancée révolutionnaire pour l’application de robots industriels intelligents dans l’industrie.
Fu Yihui estime que les robots humanoïdes doivent être capables de penser selon une chaîne de pensée et avoir un certain degré de généralisation pour répondre aux besoins des robots dans divers scénarios. Par exemple, Google RT2 intègre LLM et Visual Transformer pour intégrer la détection et le contrôle. Sur la base du jugement de l'environnement et de l'intention, il peut élaborer des stratégies d'action optimales pour améliorer la capacité d'exécution du robot.
Un membre du public a demandé comment obtenir de grandes quantités de données. Existe-t-il des moyens innovants pour les obtenir ? Zhao He estime que le développement de l'Internet industriel a objectivement accumulé des données pour la naissance de grands modèles industriels. Dans la mise en œuvre réelle, la collecte, l'organisation, l'automatisation et l'exploitation intelligente des données devraient être mises en œuvre dans les produits et services en tant que points fondamentaux.
Il n’existe actuellement aucune méthode de formation mature et largement acceptée pour l’intelligence incarnée. En prenant comme exemple les robots industriels intelligents, on s'attend à ce que les grands modèles puissent comprendre les tâches et générer des instructions de contrôle grâce à des méthodes telles que la vision vidéo artificielle.
En termes de méthodes de formation à l’intelligence incarnée, il s’agit davantage de former l’intelligence incarnée dans un environnement de simulation, ou d’utiliser la simulation et les données générées pour la formation. Parce que l'utilisation de données réelles pour former des modèles intelligents incarnés ou des robots intelligents pose le problème de la difficulté de collecte de données et du volume de données insuffisant.
Yin Zhi a proposé qu'il existe des fournisseurs de services de données professionnels tiers, tels que des sociétés d'annotation de données, qui pourraient à l'avenir devenir des formateurs en IA ou des sociétés de services. En Chine, les avantages en matière de coûts de main-d'œuvre sont relativement évidents et on s'attend à ce qu'elle forme une industrie de données multimodales et de services de formation intelligents.
Bien que l'intégration de l'intelligence embarquée et des grands modèles ait donné certains résultats, la manière d'optimiser davantage l'équilibre entre la consommation d'énergie et les revenus et de réaliser l'application mature des grands modèles multimodaux nécessite encore des recherches continues. Qu'il s'agisse de résoudre des problèmes tangents flexibles clés, d'améliorer les capacités de généralisation pour s'adapter à des environnements industriels complexes et diversifiés, d'établir des méthodes de formation matures et efficaces ou d'exploiter pleinement les avantages des services de données tiers, ce sont autant de facteurs qui favorisent l'application généralisée. de l'intelligence incarnée dans le domaine industriel.
Tout au long de l'événement, les participants en ligne ont participé activement à des échanges interactifs, notamment des personnes d'Audi China, NIO, Ideal, Dongfeng, Schneider Electric, Amazon Cloud Technology, Horizon Robotics, Huawei Terminal, Baidu, China Telecom et d'autres sociétés. des institutions telles que CICC Capital, Dingjie Software Ventures, China Software Group, Yizhuang State Investment et China Unicom Industrial Internet of Things. Le public et les invités ont eu des dialogues approfondis, échangé des expériences pratiques, discuté de la coopération commerciale et conclu avec succès ce 502 séminaire en ligne entre pairs.
Pour suivre davantage d’activités pratiques d’innovation numérique et IA, veuillez nous suivre.Groupe de réflexion Tiger SniffComplétez l'inscription pour recevoir nos mises à jour de contenu et nos notifications d'événements.
À propos de Huxiu Think Tank : Huxiu Think Tank est une nouvelle organisation de services de recherche axée sur la numérisation des entreprises et les pratiques d'innovation en matière d'IA. Elle fournit des rapports de recherche perspicaces, des sélections de cas et des réunions en ligne pour les parties A et B dans le processus d'intelligence industrielle. Les activités et services de visite suivants sont proposés pour soutenir la prise de décision judicieuse des dirigeants d'entreprise en matière d'intelligence et de numérisation. Les valeurs fondamentales que nous fournissons : des informations opportunes et de haute qualité, une compréhension de la technologie, de l'industrie, des pairs et des adversaires ; fournir une référence importante aux décideurs dans les décisions stratégiques en matière de technologie et de produits, de planification industrielle et de sélection de solutions ; comprendre les technologies de pointe et l'état de développement des industries concernées et les tendances futures
Collectez et organisez les dernières informations d'actualité et rendez-les gratuites pour que tout le monde puisse les consulter.
