2024-08-05
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
저자丨Chang Minxiao
편집자丨Qiu Xiaofen
지난 2년 동안 수백 가지 모델 전쟁부터 LLM(Large Language Model)의 점진적인 구현에 이르기까지 온디바이스 AI는 항상 인공 지능 기술 개발의 중요한 부분이었습니다.
소위 단말 측 AI란 사용자가 사용 중에 클라우드 서버에 의존하지 않고 AI 서비스를 단말 장치에서 직접 사용하는 것을 의미한다.
클라우드 인터페이스를 사용하는 ChatGPT4.0 및 새로 출시된 Llama3.1과 같은 주류 대형 언어 모델과 비교할 때 온디바이스 AI는 강력한 개인 정보 보호 기능을 갖추고 있으며 개인화된 운영 및 비용 절감과 같은 많은 이점도 있습니다.
현재 시장에는 마이크로소프트를 대표하는 여러 기업이 클라우드의 대규모 언어 모델을 성공적으로 줄이고 휴대폰, 컴퓨터 등 모바일 단말에서 오프라인으로 사용할 수 있는 'AI PC' 제품을 제안하고 있지만, 언제 어디서나 자동화된 프로그램을 사용하는 것은 소형 모델의 주요 과제로 남아 있습니다.
미국의 한 스타트업 회사는 단말기 구현 문제를 해결하고 싶어합니다.
"Aizip"은 2020년 미국 실리콘밸리에서 설립되었습니다. Perception end, edge end 등 스마트 하드웨어에 초소형 인공지능(Tiny AI)을 적용한 End-side AI 적용에 중점을 두고 있습니다.
현재 “Aizip”은 3억에서 20억 개의 매개변수 크기를 가진 일련의 소규모 언어 모델(SLM) 및 AI 에이전트인 Gizmo를 만들었습니다.
이 모델은 다양한 플랫폼에서의 사용을 지원하므로 서로 다른 장치 간의 호환성이 향상되고 사용자가 서로 다른 장치 간에 전환할 때 일관된 작동과 기능을 경험할 수 있습니다.
"Aizip"은 주로 지능형 고객 서비스, 기술 지원, 금융 지원, 인적 지원 등 일련의 서비스를 기업 고객에게 제공합니다. 개인 사용자는 휴대폰, 태블릿, 시계, 자동차, 가전제품 등 스마트기기 단말기에서 기즈모의 맞춤형 음성비서 서비스를 이용할 수 있습니다.
'아이집'은 언제 어디서나 모바일 기기에 배포할 수 있고 강력한 확장성을 갖춘 AI 모델을 구축해 사용자가 어디서나 AI 애플리케이션을 사용할 수 있도록 하려는 것으로 알려졌다. 현재 회사는 데이터 중심 모델 효율성, AI 설계 자동화 등 핵심 기술에서 획기적인 발전을 이루고 있습니다.
대형 모델에 비해 소형 모델은 10달러 미만의 가격으로 칩에 탑재할 수 있으며, 적용 및 홍보 비용이 훨씬 저렴하고 스마트 기기의 모바일 단말기에 널리 사용할 수 있습니다.
이는 AI가 사용자에게 더 빠르고 정확하게 제안을 제공할 수 있다는 의미다. 또한 사용자는 휴대폰과 태블릿에서 AI 기술을 더욱 편리하게 활용해 일상 업무와 엔터테인먼트를 처리할 수 있고, 오프라인에서는 AI 개인화 서비스를 이용할 수 있다.
상용화 측면에서는 '아이집'이 최근 르네사스테크놀로지와 협력해 초효율 소형 언어 모델 SLM(Small Language Model)과 ARM 마이크로프로세서 유닛(MPU) 기반의 소형 AI 에이전트를 출시한 것으로 알려졌다. Renesas Technology는 광범위한 마이크로컨트롤러, SoC(시스템 온 칩), 전원 관리 IC 및 기타 제품을 제공합니다.
팀 측면에서는 "Aizip" 팀의 구성원은 Stanford, Berkeley, MIT, Carnegie Mellon 등 유명 대학 출신입니다. 많은 구성원이 Google 및 Meta에서 근무했습니다.
"Aizip"의 창립 멤버 중 한 명이자 Aizip SLM 및 AI 에이전트 개발 책임자인 Weier Wan은 "우리는 효율적인 AI의 중요한 순간을 목격하고 있습니다. 온디바이스 AI 에이전트는 진정으로 모든 것을 생각하게 만들 수 있습니다. 컴퓨터가 실행되는 동안 1.2GHz에서 단일 A55 코어를 갖춘 RZ/G2L에서는 모델의 응답 시간을 3초 미만으로 단축할 수 있습니다.”
끝
끝
