notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

A inteligência artificial está se desenvolvendo mais rápido do que você imagina. Desde que o GPT-4 introduziu a tecnologia multimodal aos olhos do público, os grandes modelos multimodais entraram numa fase de rápido desenvolvimento, mudando gradualmente da pura investigação e desenvolvimento de modelos para a exploração e aplicação em campos verticais, e estão profundamente integrados em todas as esferas da vida. No campo da interação de interface, gigantes internacionais da tecnologia como Google e Apple investiram na pesquisa e desenvolvimento de grandes modelos de UI multimodais, que são considerados o único caminho a seguir para a revolução da IA ​​​​dos telefones móveis.

Neste contexto, nasceu o primeiro modelo de IU em grande escala na China. Em 17 de agosto, na IXDC2024 International Experience Design Conference, Motiff, uma ferramenta de design na era da IA, lançou seu modelo multimodal de UI desenvolvido de forma independente - Motiff Model. Este é o primeiro modelo em grande escala do mundo desenvolvido por uma empresa de ferramentas de design de UI, marcando a ascensão do poder de design de UI da China no cenário global.

Na conferência IXDC, o vice-presidente da Motiff apresentou o primeiro grande modelo de UI na China - Modelo Motiff

O modelo Motiff possui excelente compreensão da UI e capacidade de executar instruções abertas. Em cinco benchmarks de capacidade de UI reconhecidos pela indústria, todos os indicadores do modelo Motiff superaram o GPT-4o e o Ferret UI da Apple. Ele também superou o ScreenAI do Google em termos de indicadores, com o indicador Widget Captioning atingindo 161,77, atualizando o SoTA. Comparado com soluções existentes, como Ferret UI e ScreenAI, o grande modelo do Motiff pode compreender de forma flexível os elementos da interface com base no contexto, atingindo o nível de "especialistas em design" e está mais próximo da compreensão e expressão humana das interfaces de UI.

Na revisão oficial do índice UI, todos os indicadores do modelo Motiff excederam o GPT-4o e o Ferret UI.

O grande modelo de UI mais compreensível, a expressão é muito próxima dos seres humanos e é a pedra angular da futura revolução da interação da interface.

Na conferência IXDC, o vice-presidente da Motiff, Zhang Haoran, apresentou em detalhes o modelo Motiff. Ele tem as duas capacidades de compreensão da interface do usuário e da navegação interativa, e espera-se que lidere a revolução da interação da interface. "A criação humana começa com cognição e compreensão, e a criação de UI na era da IA ​​também começará com a compreensão completa da interface do usuário a partir de grandes modelos."

O modelo Motiff é excelente na compreensão de interfaces de usuário e é comparável a um “especialista em design”. Ele pode não apenas identificar todas as imagens, ícones, textos e mais de 40 componentes de interface de usuário refinados na interface, mas também marcar com precisão as coordenadas regionais de diferentes elementos na interface. Além disso, ele pode responder a várias questões relacionadas à interface do usuário, fazer inferências funcionais com base nas informações da interface e descrever detalhadamente o conteúdo da interface.

Comparado com modelos grandes como GPT-4o, Ferret UI e ScreenAI, o modelo grande Motiff também tem vantagens significativas nas capacidades de análise de interface. Por exemplo, na interface do aplicativo APP Store, o modelo Motiff pode dividir a página em vários módulos, como a barra de navegação superior e o módulo de informações do aplicativo, do ponto de vista do design da IU, e analisar detalhadamente a função e o layout de cada módulo, o que ajuda para fornecer sugestões de design, gerar automaticamente protótipos de design de UI, etc. Motiff lidera o setor em recursos de análise de interface e é o modelo multimodal que melhor entende o design de UI.

O modelo Motiff pode responder a uma variedade de perguntas sobre interfaces UI

O modelo Motiff também é o mais próximo dos humanos em termos de capacidade de compreensão e expressão. Soluções anteriores (como Ferret UI e ScreenAI) tinham dificuldade em entender o significado dos ícones com base no contexto. O grande modelo do Motiff coletava uma grande quantidade de dados de campo de UI de alta qualidade por meio de anotação manual e outros métodos, e conseguia compreender e apontar os múltiplos. usos do mesmo ícone em diferentes significados de interfaces, melhorando significativamente a precisão e a relevância contextual da descrição.

Os dados da Figura 1 foram gerados pelo Google ScreenAI, que interpretou mal o ícone em forma de coração como "coração" em vez de "coleção"; os dados das Figuras 2, 3 e 4 foram gerados pelo modelo Motiff, que pode descrever com precisão o; significado do ícone com base nas informações da interface.

O modelo Motiff também possui recursos de navegação interativa, que podem solicitar etapas operacionais de acordo com as necessidades do usuário e concluir operações relevantes em nome do usuário após obter permissão. Isto estabelece as bases para a futura revolução da interação de interface. No futuro, os usuários não precisarão clicar manualmente na tela, mas apenas a entrada de voz ou imagem para operar o dispositivo. Assistentes móveis como o Siri podem se tornar a nova entrada para todos os aplicativos e smartphones reais. , inaugurando um novo paradigma de aplicativos de software e uma nova era de interação de interface também será aberta em conformidade.

Além disso, o modelo grande Motiff também controlou com sucesso a taxa de erro dentro de um dígito. A opinião da indústria acredita que a queda acentuada nas taxas de erro marca o avanço da IA ​​de uma ferramenta auxiliar para uma “singularidade técnica”, onde pode concluir o trabalho de forma independente. Atualmente, um dos principais problemas enfrentados por modelos grandes é a alta taxa de erro. Por exemplo, o GPT-4 tem uma taxa de erro de 30% a 40% em vários indicadores, e a taxa de erro ultrapassa até 70% no campo da UI. Em contraste, o grande modelo Motiff reduz a taxa de erro para menos de 15%, e a taxa de erro dos indicadores individuais é de apenas 7%.

Por que as empresas de aplicações de IA podem desenvolver de forma independente grandes modelos líderes mundiais? Zhang Haoran disse na conferência que isso decorre da busca contínua por “produtos melhores”. “Como líder em produtos de IA, a Motiff está comprometida em superar gargalos técnicos com base em cenários de aplicação e melhorar continuamente os requisitos para capacidades de IA”, disse ele.

A capacidade do Motiff de "derrotar" os principais modelos internacionais, como GPT-4o e Ferret UI da Apple no campo de UI, também se beneficia de seu acúmulo de tecnologia de longo prazo. A Motiff tem se concentrado na interação e design de interface desde sua criação em 2021. Sua empresa-mãe, Grupo Yuanfudao, estabeleceu um Laboratório de IA focado na exploração de ponta de tecnologia de IA em 2014. Em 2018, o Grupo Yuanfudao ganhou o conhecido prêmio de leitura de máquina competição MSMAARCO Classificada em primeiro lugar no mundo, suas capacidades de compreensão de leitura automática na época haviam ultrapassado o Baidu e a Microsoft.

Melhoria e geração de eficiência de IA criam o melhor assistente para designers e otimizam o fluxo de trabalho de desenvolvimento de software

Não há dúvida de que o lançamento do modelo Motiff marca o momento GPT na área de design de interfaces. O design da UI requer processamento preciso de elementos visuais e uma compreensão profunda da lógica de interação do usuário. O modelo Motiff melhora significativamente a eficiência e os recursos de geração das ferramentas de design.

Na função de UI gerada por IA do Motiff, os usuários só precisam inserir um comando, e o Motiff pode gerar duas versões do rascunho do projeto em menos de 30 segundos. De acordo com análises cegas recentes feitas por mais de 30 profissionais do setor, ambas as versões dos rascunhos de design gerados pelo Motiff são melhores do que a ferramenta de interface do usuário líder anterior de geração de IA, Galileo AI. Após o lançamento desse recurso, ele rapidamente se tornou líder de mercado. Essa vantagem deriva diretamente dos recursos profissionais de UI do modelo grande do Motiff. É relatado que a função UI gerada por IA foi aberta para usuários globais em 17 de agosto. Você só precisa registrar uma conta Motiff para experimentá-la gratuitamente.

Além disso, a precisão da identificação de componentes na função do sistema de design de IA também foi significativamente melhorada. Com o apoio de modelos grandes, os designers podem realizar trabalhos em apenas alguns minutos que costumavam levar pelo menos semanas. A função de cópia AI pode reconhecer imagens e direitos autorais em rascunhos de design com uma precisão de mais de 97%.

"A Motiff planeja abrir seus grandes modelos para empresas de médio e grande porte e trabalhar com os clientes para criar um novo relacionamento de produção de interface na era da IA." Zhang Haoran destacou na reunião que o grande modelo da Motiff ajudará a otimizar o desenvolvimento de software." fluxo de trabalho e encurtar efetivamente o processo de produção de interface existente.

Motiff já criou muitos "primeiros" na indústria de design de interface. Ele não apenas foi pioneiro em múltiplas funções de IA, mas também foi o primeiro software de design de interface na China a desenvolver um mecanismo de renderização gráfica autodesenvolvido. mundo a ter 1 milhão de camadas em uma única tela. Um produto de alto desempenho que ainda pode ser editado sem problemas. Motiff é conhecido como a "versão AI do Figma" nas redes sociais estrangeiras. Embora melhore a produtividade em mais de 100 vezes, o preço é mais de 80% menor do que o Figma. Ele foi listado na conhecida plataforma de publicação de produtos Product Hunt's. Lista diária de produtos mais populares de julho e lista semanal número um na lista.

(Há um grande número de postagens comparando Motiff e Figma em plataformas sociais estrangeiras. Motiff é considerado uma ferramenta de IA que os designers precisam conhecer.)