소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

대형 모델이 업계 역량 강화 프로세스를 시작함에 따라 에지/측면에서의 대규모 배포가 추가 개발의 최우선 과제가 되었습니다. 그러나 엣지/사이드 배포는 대형 모델에 대한 즉각적인 대응과 개인 정보 보호를 달성하는 데 확실히 더 도움이 되지만 컴퓨팅 성능 단편화, 에너지 효율성 문제 및 구현 시나리오 측면에서 과제에 직면하게 됩니다. 기업에게 이는 어려움이자 기회입니다.

산업 응용 분야의 요구에 따라 대형 모델이 가장자리를 향해 발전하고 있습니다.

현재 우리나라의 대형 모형산업은 급속한 발전을 이루고 있다. 통계에 따르면 3월 말 현재 중국에서 출시된 대형 모델 수는 117대에 달한다. 그러나 개발 과정에서 독창적인 혁신에 중점을 두는 미국과 달리 중국의 대형 모델 회사는 응용 프로그램 구현에 더 중점을 둡니다. 360 Group의 설립자이자 회장인 Zhou Hongyi는 이전 연설에서 볼륨 모델, 컴퓨팅 성능 및 데이터가 수조 개의 매개변수에 대한 모델을 개발하는 유일한 옵션은 아니라고 말했습니다. 인공지능 대형 모델은 개발 경로가 더욱 다양해졌습니다. Face Wall Intelligence의 공동 창립자이자 CEO인 Li Dahai도 이제 개발의 중요한 추세 중 하나가 된 산업 모델의 중요성을 강조했습니다.

수천 개의 산업을 보다 효과적으로 지원하려면 대규모 모델과 관련 컴퓨팅 성능을 클라우드에만 배포할 수 없습니다. 엣지 및 엔드 사이드 모델은 클라우드가 갖지 못하는 비교 우위를 갖습니다. 첫 번째는 엔드 측 모델의 신뢰성이 더 강하다는 것입니다. 터미널에 배포된 모델은 환경과 실시간으로 지속적으로 상호 작용할 수 있지만 클라우드 모델은 이러한 연속성을 유지하기 어렵습니다. 둘째, 클라이언트 측 모델은 사용자 개인 정보 보호를 더 잘 보장할 수 있습니다. 이 문제는 앞으로 로봇이 집에 널리 들어오게 되면 개인 정보 보호 문제가 더욱 심각해질 것입니다. 데이터 개인정보 보호에 있어서 클라이언트 측 모델의 장점은 훨씬 더 분명합니다.

이러한 이해를 바탕으로 일부 엣지 컴퓨팅 회사는 엣지 AI를 중심으로 한 시나리오 실습을 주도적으로 수행하고 엣지 AI를 여러 분야에 성공적으로 도입했습니다. 예를 들어 지능형 제조 분야에서 NVIDIA의 Jetson 엣지 컴퓨팅 플랫폼은 AI 추론 컴퓨팅 기능을 산업 시나리오에 도입하고 GPU 가속 AI 시각적 추론을 사용하여 조립 라인의 결함 감지 및 유연한 제조와 같은 문제를 해결할 수 있습니다. 인텔의 솔루션은 지능형 모니터링, 교육 및 교육, 지능형 의료 등의 분야에서도 사용됩니다. 다양한 엣지 장치 관리를 통해 엣지 인텔리전스 서비스가 더욱 유연하고 효율적이며 정확해집니다.

엣지 및 엔드사이드 모델의 개발은 엣지 AI 컴퓨팅의 성장도 주도했으며 관련 컴퓨팅 성능, 칩 및 기타 산업 체인 링크는 대규모 개발의 물결을 가져왔습니다. Aixin Yuanzhi의 창립자이자 회장인 Qiu Xiaoxin은 대형 모델을 실제로 대규모로 구현하려면 클라우드, 엣지, 엔드를 세 가지 수준에서 긴밀하게 통합해야 한다고 지적했습니다. 엣지 사이드와 엔드 사이드를 결합하는 열쇠는 AI에 있습니다. 컴퓨팅과 인식. Qiu Xiaoxin은 스마트 칩과 다중 모드 대형 모델이 인공 지능 시대의 '황금 조합'이 되었다고 믿습니다. 대형 모델이 점점 더 널리 사용되면 더욱 경제적이고 효율적이며 환경 친화적인 것이 스마트의 키워드가 될 것입니다. 프로세서의 효율적인 추론 칩은 대형 모델 구현을 위한 보다 합리적인 선택이 될 것이며 이는 포괄적인 AI를 촉진하는 핵심이기도 합니다. STL Partners는 2030년까지 전 세계 엣지 컴퓨팅 잠재 시장 규모가 미화 4,450억 달러로 성장하고 업계 복합 연간 성장률이 최대 48%에 달할 것으로 예측합니다.

조각화 문제에 대처하기 위한 다양한 컴퓨팅 성능 배포

그러나 엣지/엔드 측면에 대형 모델을 배포하는 것은 하루아침에 완료될 수 없습니다. 엣지 장치의 컴퓨팅 리소스 제한과 대형 모델의 다양한 컴퓨팅 리소스 요구 사항으로 인해 엣지 배포는 먼저 컴퓨팅 성능 측면에서 어려움에 직면하게 됩니다. 한편으로, 모델 제조업체는 모델의 크기와 계산 복잡성을 줄여 에지/엔드 측 장치의 성능 요구 사항에 적응할 수 있도록 대형 모델에 대한 압축, 가지치기, 정량화 등의 기술 처리를 수행해야 합니다. 한편, 컴퓨팅 파워 기반을 어떻게 구축할 것인지도 관심의 대상이다.

Intel China의 네트워크 및 엣지 부문 최고 기술 책임자인 Zhang Yu는 인공 지능이 수천 개의 산업에 힘을 실어주기 때문에 애플리케이션마다 컴퓨팅 성능에 대한 수요가 다르며 그 범위가 매우 넓다고 강조했습니다. 고성능 요구 사항이 있는 장치는 컴퓨팅 성능 클러스터에서 호스팅되어야 하며, 컴퓨팅 성능 요구 사항이 낮은 장치는 하나 또는 여러 장치를 사용할 수 있습니다. Arm Technology의 제품 이사인 Yang Lei는 또한 이러한 대규모 AI 모델을 단말기에 배포할 때 여전히 비용, 전력 소비, 소프트웨어 생태계와 같은 여러 가지 문제에 직면하고 있다고 말했습니다.

이러한 수요 추세에 대응하여 Inspur 및 Lenovo와 같은 컴퓨팅 전력 인프라 공급업체는 최근 몇 년 동안 "엔드 엣지-클라우드-네트워크-지능"을 중심으로 컴퓨팅 전력 레이아웃을 구축해 왔습니다. 제품에는 지능형 에지 게이트웨이, 에지 서버, 산업용 컨트롤러, 내장형 컴퓨터 및 기타 하드웨어 장치가 포함되어 다양한 산업의 컴퓨팅 성능 요구 사항을 충족합니다. 칩 측면에서는 CPU+GPU+NPU의 통합이 더욱 복잡해진 AI 컴퓨팅 성능에 대응하기 위한 프로세서 개발 방향이 되었습니다. Qualcomm은 수백억 개의 매개변수 수준 모델을 지원하는 Snapdragon X Elite 통합 전용 신경 처리 장치를 출시했습니다. Intel Meteor Lake 프로세서는 NPU와 프로세서 내 컴퓨팅 엔진의 AI 기능을 결합하여 AI 기능을 실행하는 PC의 에너지 효율성을 향상시킵니다. 국내 AI 칩 측면에서 Aixin Yuanzhi는 최근 'Aixin Tongyuan AI 프로세서'도 출시했습니다. 핵심 운영자 명령 세트와 데이터 흐름 마이크로 아키텍처는 프로그래밍 가능한 데이터 흐름 마이크로 아키텍처를 채택하여 에너지 효율성과 컴퓨팅 성능을 효과적으로 향상시킬 수 있습니다. 엣지 컴퓨팅 및 AI 추론 분야의 개발에 적합한 밀도입니다.

엣지 측 에너지 효율성 문제가 두드러지고, 경량화 개발이 핵심

에너지 효율성 역시 엣지 대형 모델 개발에 있어서 반드시 고려해야 할 핵심 이슈이다. 실제로 대형 모델을 엣지/엔드 측면에서 효과적으로 배포하려는 경우 클라우드에 비해 에너지 효율성 문제가 더 두드러집니다. 인텔의 수석 부사장이자 네트워크 및 엣지 부문 총괄인 사친 카티(Sachin Katti)는 저자와의 인터뷰에서 컴퓨팅 파워를 논할 때 컴퓨팅 파워, 소프트웨어 생태학 등을 최적화하는 것 외에도 핵심 문제는 전력 소비라고 말했다. 특히 가장자리에 배포할 때 그렇습니다. 엣지 배포 장비의 에너지 소비량은 약 200W일 수 있습니다. 클라우드 배포의 에너지 소비량은 1,000~2kW일 수 있으며, 데이터 센터의 단일 레이어 랙의 에너지 소비량은 100kW에 달할 수 있습니다. 데이터센터 전체의 에너지 소비량을 합산하면 50G~100GW 규모에 이를 수 있다.

엣지 디바이스는 컴퓨팅 성능과 메모리가 제한된 경우가 많으며, 대규모 모델에는 고성능 추론을 위해 상당한 리소스가 필요합니다. 따라서 ‌모델 정확도와 응답 속도를 보장하면서 자원 활용을 최적화하고 에너지 소비를 줄이는 방법이 핵심 문제가 되었습니다. 이러한 추세에 대응하여 관련 제조업체에서는 AMD가 출시한 Ryzen AI 모델 배포 엔진, Intel의 OpenVINO 추론 가속 라이브러리, NVIDIA의 TensorRT 고성능 추론 가속 라이브러리 등과 같은 경량 개발 프레임워크 및 가속 라이브러리를 목표로 결합하여 홍보했습니다. 임베디드 및 모바일 터미널(예: PyTorch Mobile, TensorFlow Lite, Paddle Lite 등)을 위한 경량 개발 프레임워크는 모바일 장치, 사물 인터넷 및 기타 엣지 컴퓨팅 시나리오에서 인공 지능의 광범위한 적용을 촉진할 수 있습니다.

또한 업계에서는 서버 냉각 수단으로 액체 냉각 기술을 널리 채택하기 시작했으며 점차 데이터 센터 및 대형 모델 배포에 사용되고 있습니다. 기존 액체 냉각 기술은 이미 100kW 규모의 차량을 냉각할 수 있으며 향후 300kW까지 확장될 것으로 예상됩니다.

AI 활용 탐구, 미래의 '스타 신'은 누구일까?

사람들이 산업 응용 분야에서 대형 모델의 힘을 점점 더 강조함에 따라 적합한 "스타 장면"을 찾는 것이 산업의 성패를 결정하는 핵심 문제가 되었습니다. 현재 AI 휴대폰, AI PC, 자율주행 등은 대형 모델의 가장 유망한 응용 시장으로 자리 잡았다.

시장조사업체 IDC의 최근 조사에 따르면 2024년 AI 휴대폰 시장 출하량은 2억3420만대로 2023년 출하량 5050만대 대비 363.6% 증가해 전체 스마트폰의 19%를 차지할 것으로 전망됐다. 올해 시장. 2028년 AI 휴대폰 출하량은 연평균 성장률 78.4%로 2028년에는 9억1200만대에 이를 것으로 예상된다. IDC의 전 세계 분기별 휴대폰 추적 연구 이사인 Anthony Scarsella는 많은 강력한 칩과 NPU가 비싸고 주로 최고급 시장에서 판매되기 때문에 AI 휴대폰이 출시될 때 비용이 여전히 주요 장애물로 남을 것이라고 말했습니다. 그러나 시간이 흐르고 경쟁이 심화됨에 따라 이러한 구성 요소가 중급 및 보다 저렴한 모델로 진출할 것이라고 믿습니다.

AI PC는 당초 예상보다 빠르게 성숙해지고 있으며, 글로벌 PC 산업에 대체 물결을 가져올 것으로 예상된다. Canalys의 전망에 따르면, 전 세계 AI PC 보급률은 2024년부터 2028년까지 19%에서 71%로 증가하고, 출하량은 5,100만 대에서 2억 800만 대로 증가해 연평균 성장률 42.11%를 기록할 것으로 예상된다. 모건스탠리는 AI PC가 올해 전체 PC 시장의 2%를 차지할 것으로 내다봤고, 내년 16%, 2026년 28%, 2027년 48%, 2028년 64%로 늘어날 것으로 내다봤다.

자동차에 대형 모델을 적용하는 것은 아직 초기 단계다. 그러나 지능이라는 개념이 점차 사람들의 마음속에 자리잡으면서 자동차는 결국 '걸어다니는 모바일 단말'이 될 것이라는 것이 대부분의 사람들의 공감대가 됐다. 자동차에 탑재된 대형 AI 모델도 "급행열차를 타게" 됩니다. 대형 모델을 자동차에 장착하는 데에는 두 가지 주요 방향이 있습니다. 하나는 조종석 영역에 들어가 보다 지능적인 인간-컴퓨터 상호 작용을 달성하는 것이고, 다른 하나는 자동 운전 시스템과 협력하여 지능형 운전 솔루션을 더욱 향상시키는 것입니다. Maichi Intelligent Technology Co., Ltd.의 CTO인 Zhang Chi는 대형 모델이 고속도로에서 보다 복잡한 도시 시나리오로 자율 주행의 전환을 가속화하고 엔드투엔드 인식 및 제어 통합의 형성을 촉진한다고 말했습니다. Aixin Yuanzhi의 공동 창업자이자 부사장인 Liu Jianwei는 Aixin Yuanzhi가 2022년에 Transformer의 출현을 예측하고 Aixin Tongyuan AI 프로세서가 탑재된 칩 출시에 앞장섰다고 말했습니다. M55H 및 M76H와 같은 Aixin Yuanzhi의 스마트 구동 칩은 현재 인기 있는 모델에 설치되었습니다.