2024-08-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
L’intelligence artificielle se développe plus rapidement que vous ne l’imaginez. Depuis que GPT-4 a introduit la technologie multimodale aux yeux du public, les grands modèles multimodaux sont entrés dans une phase de développement rapide, passant progressivement de la recherche et du développement de modèles purs à l'exploration et à l'application dans des domaines verticaux, et sont profondément intégrés dans tous les horizons. Dans le domaine de l'interaction des interfaces, des géants internationaux de la technologie tels que Google et Apple ont investi dans la recherche et le développement de grands modèles d'interface utilisateur multimodaux, ce qui est considéré comme la seule voie à suivre pour la révolution de l'IA des téléphones mobiles.
C’est dans ce contexte qu’est né le premier modèle d’assurance-chômage à grande échelle en Chine. Le 17 août, lors de la conférence internationale sur la conception d'expériences IXDC2024, Motiff, un outil de conception à l'ère de l'IA, a lancé son modèle multimodal d'interface utilisateur développé indépendamment - Motiff Model. Il s'agit du premier modèle à grande échelle au monde développé par une société d'outils de conception d'interface utilisateur, marquant la montée en puissance de la Chine en matière de conception d'interface utilisateur sur la scène mondiale.
Lors de la conférence IXDC, le vice-président de Motiff a présenté le premier grand modèle d'interface utilisateur en Chine - Modèle Motiff
Le modèle Motiff possède une excellente compréhension de l'interface utilisateur et la capacité d'exécuter des instructions ouvertes. Dans cinq benchmarks de capacités d'interface utilisateur reconnus par l'industrie, tous les indicateurs du modèle Motiff ont dépassé GPT-4o et l'interface utilisateur Ferret d'Apple. Il a également dépassé ScreenAI de Google en termes d'indicateurs, l'indicateur de sous-titrage de widget atteignant 161,77, rafraîchissant SoTA. Comparé aux solutions existantes telles que Ferret UI et ScreenAI, le grand modèle de Motiff peut comprendre de manière flexible les éléments d'interface en fonction du contexte, atteignant le niveau des « experts en conception » et est le plus proche de la compréhension et de l'expression humaines des interfaces d'interface utilisateur.
Dans l'examen faisant autorité de l'indice d'assurance-chômage, tous les indicateurs du modèle Motiff dépassaient GPT-4o et Ferret UI.
Lors de la conférence IXDC, le vice-président de Motiff, Zhang Haoran, a présenté en détail le modèle Motiff. Il possède les deux capacités de compréhension des interfaces utilisateur et de navigation interactive, et devrait mener la révolution de l'interaction des interfaces. "La création humaine commence par la cognition et la compréhension, et la création d'interface utilisateur à l'ère de l'IA commencera également par une compréhension complète de l'interface utilisateur à partir de grands modèles", a déclaré Zhang Haoran.
Le modèle Motiff excelle dans la compréhension des interfaces utilisateur et est comparable à un « expert en conception ». Il peut non seulement identifier toutes les images, icônes, textes et plus de 40 composants d'interface utilisateur à granularité fine dans l'interface, mais également marquer avec précision les coordonnées régionales des différents éléments de l'interface. De plus, il peut répondre à diverses questions liées à l'interface utilisateur, faire des inférences fonctionnelles basées sur les informations de l'interface et décrire le contenu de l'interface en détail.
Comparé aux grands modèles tels que GPT-4o, Ferret UI et ScreenAI, le grand modèle Motiff présente également des avantages significatifs en termes de capacités d'analyse d'interface. Par exemple, dans l'interface de l'application APP Store, le modèle Motiff peut diviser la page en plusieurs modules tels que la barre de navigation supérieure et le module d'informations sur l'application du point de vue de la conception de l'interface utilisateur, et analyser en détail la fonction et la disposition de chaque module, ce qui aide pour fournir des suggestions de conception, générer automatiquement des prototypes de conception d'interface utilisateur, etc. Motiff est leader du secteur en termes de capacités d'analyse d'interface et constitue le modèle multimodal qui comprend le mieux la conception de l'interface utilisateur.
Le modèle Motiff peut répondre à une variété de questions sur les interfaces d'interface utilisateur
Le modèle Motiff est également le plus proche de l’humain en termes de capacités de compréhension et d’expression. Les solutions précédentes (telles que Ferret UI et ScreenAI) avaient du mal à comprendre la signification des icônes en fonction du contexte. Le grand modèle de Motiff collectait une grande quantité de données de champ d'interface utilisateur de haute qualité via des annotations manuelles et d'autres méthodes, et pouvait comprendre et souligner les multiples. utilisations de la même icône dans différentes interfaces, améliorant considérablement la précision et la pertinence contextuelle de la description.
Les données de la figure 1 ont été générées par Google ScreenAI, qui a interprété à tort l'icône en forme de cœur comme « cœur » au lieu de « collection » ; les données des figures 2, 3 et 4 ont été générées par le modèle Motiff, qui peut décrire avec précision le signification de l'icône en fonction des informations de l'interface.
Le modèle Motiff dispose également de capacités de navigation interactives, qui peuvent proposer des étapes de fonctionnement en fonction des besoins de l'utilisateur et effectuer les opérations pertinentes au nom de l'utilisateur après avoir obtenu l'autorisation. Cela pose les bases de la future révolution des interactions entre interfaces. À l'avenir, les utilisateurs n'auront plus besoin de cliquer manuellement sur l'écran, mais n'auront besoin que d'une saisie vocale ou d'image pour faire fonctionner l'appareil. Des assistants mobiles tels que Siri pourraient devenir la nouvelle porte d'entrée de toutes les applications et ordinateurs réels. , ouvrant la voie à un nouveau paradigme d'applications logicielles et à une nouvelle ère d'interaction avec les interfaces.
De plus, le grand modèle Motiff a également réussi à contrôler le taux d’erreur à un chiffre. L'opinion de l'industrie estime que la forte baisse des taux d'erreur marque l'évolution de l'IA d'un outil auxiliaire à une « singularité technique » où elle peut accomplir son travail de manière indépendante. Actuellement, l'un des principaux problèmes rencontrés par les grands modèles est le taux d'erreur élevé. Par exemple, GPT-4 a un taux d'erreur de 30 à 40 % sur plusieurs indicateurs, et le taux d'erreur dépasse même 70 % dans le domaine de l'interface utilisateur. En revanche, le grand modèle Motiff réduit le taux d'erreur à moins de 15 %, et le taux d'erreur des indicateurs individuels n'est que de 7 %.
Pourquoi les sociétés d’applications d’IA peuvent-elles développer de manière indépendante de grands modèles de premier plan ? Zhang Haoran a déclaré lors de la conférence que cela découlait de la recherche continue de « meilleurs produits ». « En tant que leader des produits d'IA, Motiff s'engage à éliminer les goulots d'étranglement techniques sur la base de scénarios d'application et à améliorer continuellement les exigences en matière de capacités d'IA », a-t-il déclaré.
La capacité de Motiff à « vaincre » les principaux modèles internationaux tels que GPT-4o et Ferret UI d'Apple dans le domaine de l'interface utilisateur bénéficie également de son accumulation technologique à long terme. Motiff se concentre sur l'interaction et la conception d'interfaces depuis sa création en 2021. Sa société mère, le groupe Yuanfudao, a créé un laboratoire d'IA axé sur l'exploration de pointe de la technologie de l'IA en 2014. En 2018, le groupe Yuanfudao a remporté le célèbre prix de lecture automatique. concours MSMAARCO Classé premier au monde, ses capacités de compréhension en lecture automatique avaient à l'époque dépassé Baidu et Microsoft.
Il ne fait aucun doute que la sortie du modèle Motiff marque le moment GPT dans le domaine de la conception d'interfaces. La conception de l'interface utilisateur nécessite un traitement précis des éléments visuels et une compréhension approfondie de la logique d'interaction de l'utilisateur. Le modèle Motiff améliore considérablement l'efficacité et les capacités de génération des outils de conception.
Dans la fonction d'interface utilisateur générée par l'IA de Motiff, les utilisateurs n'ont qu'à saisir une commande, et Motiff peut générer deux versions du projet de conception en moins de 30 secondes. Selon de récentes évaluations aveugles réalisées par plus de 30 professionnels de l'industrie, les deux versions des ébauches de conception générées par Motiff sont meilleures que le précédent outil d'interface utilisateur de pointe de génération d'IA, Galileo AI. Après la sortie de cette fonctionnalité, il est rapidement devenu le leader du marché. Cet avantage découle directement des capacités professionnelles de l'interface utilisateur du grand modèle de Motiff. Il est rapporté que la fonction d'interface utilisateur générée par l'IA a été ouverte aux utilisateurs du monde entier le 17 août. Il vous suffit de créer un compte Motiff pour en profiter gratuitement.
De plus, la précision de l'identification des composants dans la fonction du système de conception AI a également été considérablement améliorée. Avec le support de grands modèles, les concepteurs peuvent réaliser un travail en quelques minutes seulement, ce qui prenait auparavant au moins des semaines. La fonction de copie AI peut reconnaître les images et la rédaction dans les brouillons de conception avec une précision de plus de 97 %.
"Motiff prévoit d'ouvrir ses capacités de grands modèles aux moyennes et grandes entreprises et de travailler avec les clients pour créer une nouvelle relation de production d'interfaces à l'ère de l'IA. Zhang Haoran a souligné lors de la réunion que le grand modèle de Motiff contribuera à optimiser le développement de logiciels." flux de travail et raccourcir efficacement le processus de production d’interface existant.
Motiff a déjà créé de nombreuses « premières » dans l'industrie de la conception d'interfaces. Il a non seulement été le pionnier de plusieurs fonctions d'IA, mais a également été le premier logiciel de conception d'interface en Chine à développer un moteur de rendu graphique auto-développé. monde d'avoir 1 million de calques sur une seule toile. Un produit haute performance qui peut toujours être édité en douceur. Motiff est connu comme la « version IA de Figma » sur les réseaux sociaux étrangers. Tout en améliorant la productivité de plus de 100 fois, le prix est plus de 80 % inférieur à celui de Figma. Il a été répertorié sur la célèbre plateforme de publication de produits Product Hunt's. Liste quotidienne et liste hebdomadaire des produits les plus populaires de juillet.
(Il existe un grand nombre d'articles comparant Motiff et Figma sur les plateformes sociales étrangères. Motiff est considéré comme un outil d'IA que les concepteurs doivent connaître.)
Collectez et organisez les dernières informations d'actualité et rendez-les gratuites pour que tout le monde puisse les consulter.
