2024-08-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
인공지능은 생각보다 빠르게 발전하고 있습니다. GPT-4가 다중 모드 기술을 대중의 시선에 도입한 이후 다중 모드 대형 모델은 급속한 개발 단계에 진입하여 순수 모델 연구 및 개발에서 수직 분야의 탐색 및 적용으로 점차 전환하고 모든 계층과 깊이 통합되었습니다. 인터페이스 상호작용 분야에서는 구글, 애플 등 국제 기술 대기업들이 대형 멀티모달 UI 모델 연구개발에 투자해 왔으며, 이는 휴대폰 AI 혁명의 유일한 길로 평가받고 있다.
이러한 맥락에서 중국 최초의 대규모 UI 모델이 탄생했습니다. 지난 8월 17일 IXDC2024 국제 경험 디자인 컨퍼런스에서 AI 시대의 디자인 도구인 Motiff가 자체 개발한 UI 멀티모달 모델인 Motiff 모델을 출시했습니다. 이는 UI 디자인 도구 회사가 개발한 세계 최초의 대규모 모델로, 세계 무대에서 중국의 UI 디자인 파워의 부상을 의미합니다.
IXDC 컨퍼런스에서 Motiff 부사장은 중국 최초의 대형 UI 모델인 Motiff 모델을 소개했습니다.
Motiff 모델은 뛰어난 UI 이해와 개방형 명령 실행 능력을 갖추고 있습니다. 업계가 인정한 5개 UI 기능 벤치마크에서 Motiff 모델의 모든 지표는 GPT-4o와 Apple의 Ferret UI를 능가했으며, 위젯 캡션 지표도 161.77에 도달해 SoTA를 상쾌하게 하는 등 지표 측면에서도 Google의 ScreenAI를 능가했습니다. Ferret UI, ScreenAI 등 기존 솔루션에 비해 Motiff의 대형 모델은 상황에 따라 인터페이스 요소를 유연하게 이해할 수 있어 '디자인 전문가' 수준에 도달할 수 있으며 UI 인터페이스에 대한 인간의 이해와 표현에 가장 가깝습니다.
권위 있는 UI 지수 검토에서 Motiff 모델의 모든 지표가 GPT-4o 및 Ferret UI를 초과했습니다.
IXDC 컨퍼런스에서 Motiff 부사장 Zhang Haoran은 Motiff 모델을 자세히 소개했습니다. Motiff 모델은 사용자 인터페이스 이해와 대화형 탐색이라는 두 가지 기능을 갖추고 있으며 인터페이스 상호작용 혁명을 주도할 것으로 예상됩니다. 장하오란은 “인간의 창조는 인지와 이해에서 시작된다”며 “AI 시대의 UI 생성 역시 대형 모델의 사용자 인터페이스를 완전히 이해하는 것에서 시작될 것”이라고 말했다.
Motiff 모델은 사용자 인터페이스를 이해하는 데 탁월하며 "디자인 전문가"에 필적합니다. 인터페이스에 있는 모든 그림, 아이콘, 텍스트 및 40개 이상의 세밀한 UI 구성 요소를 식별할 수 있을 뿐만 아니라 인터페이스에 있는 다양한 요소의 지역 좌표를 정확하게 표시할 수도 있습니다. 또한, 사용자 인터페이스와 관련된 다양한 질문에 답변하고, 인터페이스 정보를 기반으로 기능적 추론을 하며, 인터페이스 내용을 자세하게 설명할 수 있습니다.
Motiff 대형 모델은 GPT-4o, Ferret UI 및 ScreenAI와 같은 대형 모델과 비교하여 인터페이스 분석 기능에서도 상당한 이점을 가지고 있습니다. 예를 들어, APP Store 애플리케이션 인터페이스에서 Motiff 모델은 UI 디자인 관점에서 페이지를 상단 네비게이션 바, 애플리케이션 정보 모듈 등 여러 모듈로 나누고, 각 모듈의 기능과 레이아웃을 자세히 분석할 수 있어 도움이 됩니다. 디자인 제안 제공, UI 디자인 프로토타입 자동 생성 등 Motiff는 인터페이스 분석 기능에서 업계를 선도하며 UI 디자인을 가장 잘 이해하는 다중 모드 모델입니다.
Motiff 모델은 UI 인터페이스에 대한 다양한 질문에 답할 수 있습니다.
모티프 모델은 이해력과 표현력 측면에서도 인간과 가장 가깝다. Ferret UI, ScreenAI 등의 기존 솔루션은 컨텍스트에 따른 아이콘의 의미를 이해하는 데 어려움이 있었습니다. Motiff의 대형 모델은 수동 주석 및 기타 방법을 통해 대량의 고품질 UI 필드 데이터를 수집하고 다중을 이해하고 지적할 수 있었습니다. 다양한 인터페이스에서 동일한 아이콘을 사용함으로써 설명의 정확성과 맥락적 관련성이 크게 향상되었습니다.
그림 1의 데이터는 Google ScreenAI에 의해 생성되었으며, 그림 2, 3, 4의 데이터는 하트 모양 아이콘을 "컬렉션"이 아닌 "하트"로 오해하여 정확하게 설명할 수 있는 Motiff 모델에 의해 생성되었습니다. 인터페이스 정보에 따른 아이콘의 의미입니다.
Motiff 모델에는 대화형 탐색 기능도 있어 사용자 요구에 따라 작업 단계를 안내하고 권한을 얻은 후 사용자를 대신하여 관련 작업을 완료할 수 있습니다. 이는 미래의 인터페이스 상호작용 혁명을 위한 토대를 마련합니다. 미래에는 사용자가 화면을 수동으로 클릭할 필요 없이 음성이나 이미지 입력만으로 장치를 조작할 수 있으며, 이를 통해 모든 앱에 대한 새로운 관문이 될 수도 있습니다. , 소프트웨어 애플리케이션의 새로운 패러다임과 인터페이스 상호 작용의 새로운 시대도 열릴 것입니다.
또한 Motiff 대형 모델 역시 오류율을 한 자릿수 이내로 성공적으로 제어했습니다. 업계에서는 오류율이 급격히 떨어지는 것은 AI가 보조 도구에서 독립적으로 작업을 완료할 수 있는 '기술적 특이점'으로 발전했음을 의미한다고 믿고 있습니다. 현재 대형 모델이 안고 있는 핵심 문제 중 하나는 높은 오류율이다. 예를 들어 GPT-4는 여러 지표에서 30~40%에 달하는 오류율을 보이고 있으며, UI 분야에서도 오류율이 70%를 넘는다. 이에 비해 Motiff 대형 모델은 오류율을 15% 미만으로 줄였으며, 개별 지표의 오류율은 7%에 불과합니다.
AI 응용기업이 세계 최고 수준의 대형 모델을 독자적으로 개발할 수 있는 이유는 무엇일까? Zhang Haoran은 컨퍼런스에서 이것이 "더 나은 제품"에 대한 지속적인 추구에서 비롯된 것이라고 말했습니다. "AI 제품의 선두주자로서 Motiff는 애플리케이션 시나리오를 기반으로 기술적 병목 현상을 극복하고 AI 기능에 대한 요구 사항을 지속적으로 개선하기 위해 최선을 다하고 있습니다."라고 그는 말했습니다.
UI 분야에서 GPT-4o, 애플의 Ferret UI 등 해외 유수의 모델을 '패배'하는 모티프의 능력 역시 장기적인 기술 축적의 혜택을 받고 있다. 모티프는 2021년 설립 이후 인터페이스 상호 작용과 디자인에 주력해 왔습니다. 모회사인 Yuanfudao Group은 2014년 AI 기술의 최첨단 탐구에 초점을 맞춘 AI Lab을 설립했습니다. 2018년 Yuanfudao Group은 유명한 기계 판독 부문에서 우승했습니다. 경쟁 MSMAARCO는 당시 세계 1위의 기계 독해 능력으로 Baidu와 Microsoft를 능가했습니다.
Motiff의 대형 모델 출시가 인터페이스 디자인 분야에서 GPT의 순간을 의미한다는 것은 의심의 여지가 없습니다. UI 디자인에는 시각적 요소의 정확한 처리와 사용자 상호 작용 논리에 대한 깊은 이해가 필요합니다. Motiff 모델은 디자인 도구의 효율성과 생성 기능을 크게 향상시킵니다.
Motiff의 AI 생성 UI 기능에서는 사용자가 명령만 입력하면 Motiff는 30초 이내에 두 가지 버전의 디자인 초안을 생성할 수 있습니다. 최근 30명이 넘는 업계 전문가의 블라인드 리뷰에 따르면 Motiff가 생성한 디자인 초안의 두 버전 모두 이전의 선도적인 AI 생성 UI 도구인 Galileo AI보다 우수합니다. 이 기능이 출시된 후 빠르게 시장의 선두주자가 되었습니다. 이러한 장점은 Motiff 대형 모델의 UI 전문 기능에서 직접적으로 파생됩니다. AI가 생성한 UI 기능이 8월 17일 글로벌 사용자에게 오픈된 것으로 알려졌다. 모티프 계정만 등록하면 무료로 체험할 수 있다.
또한 AI 설계 시스템 기능의 부품 식별 정확도도 대폭 향상됐다. 대형 모델의 지원으로 디자이너는 최소 몇 주가 걸리던 작업을 단 몇 분 만에 완료할 수 있습니다. AI 복사 기능은 디자인 초안의 이미지와 카피라이팅을 97% 이상의 정확도로 인식할 수 있다.
"Motiff는 대형 모델 기능을 중견 기업과 대기업에 공개하고 고객과 협력하여 AI 시대의 새로운 인터페이스 생산 관계를 구축할 계획입니다." Zhang Haoran은 회의에서 Motiff의 대형 모델이 소프트웨어 개발을 최적화하는 데 도움이 될 것이라고 지적했습니다. 워크플로우를 개선하고 기존 인터페이스 제작 프로세스를 효과적으로 단축합니다.
Motiff는 이전에 인터페이스 디자인 업계에서 많은 "최초"를 만들었습니다. 이는 여러 AI 기능을 개척했을 뿐만 아니라 자체 개발한 그래픽 렌더링 엔진을 개발한 중국 최초의 인터페이스 디자인 소프트웨어이기도 합니다. 하나의 캔버스에 100만 개의 레이어를 담을 수 있어 여전히 원활하게 편집이 가능한 고성능 제품입니다. 모티프는 해외 소셜미디어에서 '피그마의 AI 버전'으로 알려져 있다. 생산성을 100배 이상 향상시키면서, 유명 제품 퍼블리싱 플랫폼인 프로덕트 헌트(Product Hunt)에 등재됐다. 7월 가장 인기 있는 제품 일간 목록과 주간 목록 1위입니다.
(해외 소셜플랫폼에는 모티프와 피그마를 비교하는 글이 많이 올라오고 있습니다. 모티프는 디자이너가 꼭 알아야 할 AI 도구로 꼽힙니다.)
