소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

·클라우드 처리 시간이 길어지고, 데이터 전송 비용이 높으며, 데이터 보안에 대한 우려가 있습니다. 인텔 수석 부사장 사친 카티(Sachin Katti)는 AI가 엣지까지 침투하고 있으며 대형 모델이 점차 클라우드에서 엣지로 이동할 수 있다고 말했습니다.

Sachin Katti는 Intel 네트워킹 및 엣지 그룹 수석 부사장 겸 총괄 관리자입니다.

"로컬 데이터를 처리하기 위해 AI가 엣지에 더 많이 배포되고 적용될 것으로 예상합니다. 시간이 지남에 따라 AI 모델은 7월 24일 Intel Network & Edge 2024에서 컴퓨팅 산업 컨퍼런스에서 Sachin으로 점차 클라우드에서 엣지로 이동할 수 있습니다." Intel의 네트워크 및 엣지 부문 수석 부사장 겸 총괄 관리자인 Katti는 현재 AI는 주로 클라우드에서 실행된다고 말했습니다. 엣지 장치가 로컬에서 대량의 데이터를 생성하기 때문에 모든 데이터를 클라우드로 전송하는 데 드는 비용이 상당히 높습니다. 엣지 컴퓨팅이 일반적인 추세입니다.

데이터 보안 및 실시간으로 클라우드에서 엣지까지 AI 촉진

사친 카티(Sachin Katti)는 인간은 AI 보조 시대에 있으며, AI는 인간이 보다 효율적으로 일할 수 있도록 도와준다고 말했습니다. AI 보조 시대가 지나면 인간은 AI 보조원 시대로 들어갈 것입니다. 먼 미래에는 인간이 부서 수준의 솔루션을 제공하기 위해 협력하는 것처럼 에이전트가 서로 상호 작용할 수 있다는 것을 알게 될 것입니다.”

사친 카티(Sachin Katti)는 오늘날의 AI 성장은 주로 클라우드에 집중되어 있지만 엣지 컴퓨팅으로의 진화가 대세라고 말했다. “과거에 우리가 이야기한 AI는 기본적으로 머신 비전이나 시계열 기반 자동화 기술이었습니다. 그러나 이제 엣지 AI는 엣지의 머신 비전에서 대규모 언어 모델 및 생성 AI와 같은 엣지 애플리케이션으로 점차 발전했습니다. 인텔은 엣지에서 생성 AI 및 대규모 언어 모델의 배포를 가속화하기 위해 관련 기능을 계속 제공할 것입니다.”

엣지 데이터의 전송 요구 사항 외에도 데이터 보안 및 실시간 성능은 클라우드에서 엣지까지 AI를 발전시키는 데 있어 중요한 고려 사항입니다. Intel Marketing Group의 부사장이자 Intel China 네트워크 및 엣지 및 채널 데이터 센터 부문 총괄 책임자인 Guo Wei는 한편으로는 기업이 클라우드에 데이터를 배치하는 것에 대해 우려하고 있는 반면, 엣지 컴퓨팅은 이러한 문제를 해결하는 데 도움이 된다고 말했습니다. 실시간 요구 사항.

"기본적으로 올해 우리 고객의 절반 이상이 대형 엣지 모델을 기반으로 한 구현 솔루션을 모색하고 있습니다." Intel 부사장 겸 네트워크 및 엣지 부문 중국 총괄 책임자인 Chen Wei는 엣지 컴퓨팅 구현의 관점에서 다음과 같이 말했습니다. 모델 크기는 클수록 좋지만 시장 애플리케이션 시나리오의 실제 요구 사항에 적합해야 합니다. , 등."

에지 튜닝은 데이터 볼륨에 따라 제한됩니다.

"엣지의 특징은 단편화입니다." Intel China의 네트워크 및 엣지 부문 최고 기술 책임자이자 Intel의 수석 AI 엔지니어인 Zhang Yu는 사용자마다 컴퓨팅 성능과 성능에 대한 요구 사항이 다르다고 말했습니다. 에지 튜닝의 일반적인 과제는 학교나 공장에서 실제로 교육에 사용할 수 있는 데이터 양이 매우 적다는 것입니다. 회사와 학교마다 데이터가 다르기 때문에 자동차 부품 생산 공장과 가공 공장은 서로 다른 문제에 직면합니다. 통일된 모델로는 제품 결함을 감지할 수 없으며 모델은 회사별 데이터로 학습되어야 합니다.

그러면서 장위는 "훈련에는 자신이 주의를 기울이고 있는 것이 무엇인지 기계에게 알려주는 라벨링이 필요하다"며 "실제로 공장에서 AI 기능 장비를 작동하는 사람은 생산 라인의 작업자인 경우가 많다. 어떻게 할 수 있는가"라고 말했다. 생산 과정에서 라벨링할 에너지가 있습니까?" ?" 따라서 데이터 양이 적을 때 주석을 완료하려면 에지 튜닝 중에 자동화된 주석 방법을 사용해야 합니다. "에지에서 최종 사용자는 기술적인 솔루션이 아닌 비즈니스 배포를 추구합니다. 서비스에 대한 사용자의 요구 사항은 편의성, 배포 용이성, 배포 후 관리 용이성입니다. 이는 종종 고객의 불만 사항입니다."

Guo Wei는 실제 업계 문제를 해결하기 위해 모델 훈련에만 의존하는 것만으로는 충분하지 않으며, 추론 능력 향상에 대한 요구가 올해 특히 분명하다고 말했습니다. 대형 모델의 구현에는 필연적으로 엔드에서 에지, 그리고 클라우드까지 컴퓨팅 성능의 균형 잡힌 분배가 수반됩니다. "수직형 대형 모델의 표준 애플리케이션이라면 대형 모델은 주로 클라우드에 배포됩니다. 그러나 업계 구현의 필요성으로 인해 AI 컴퓨팅 성능은 필연적으로 클라우드로 밀려날 것입니다." 엣지 및 엔드사이드 배포."

Sachin Katti는 엣지의 주요 워크로드가 추론과 지속적인 학습이라고 말했습니다. 때로는 엣지에 배포한 후 효과가 예상만큼 좋지 않거나 일정 기간 동안 실행되면서 원래 모델을 미세 조정해야 하는 경우도 있습니다.

엣지에는 어느 정도의 컴퓨팅 성능이 필요합니까? Sachin Katti는 컴퓨팅 성능과 에너지 소비 사이에 긍정적인 상관관계가 있다고 말했습니다. 엣지에 배포된 장비는 약 200와트의 에너지를 소비하고, 클라우드 배포는 1~2킬로와트를 소비하며, 데이터 센터의 단일 레이어 랙의 에너지 소비는 최대 100킬로와트에 달할 수 있습니다. 전체 데이터센터의 에너지 소비량을 합산하면 50~100기가와트에 이를 수 있다. 컴퓨팅 파워나 에너지 소비가 높은 경우에는 냉각 효율과 냉각 용량을 반드시 고려해야 하는 핵심 변수입니다. 대규모 데이터와 컴퓨팅 파워는 많은 열을 발생시키게 되므로 현재 액체 냉각 기술을 사용하여 차량을 효과적으로 냉각하고 있다. 기존 액체 냉각 기술은 100kW 차량을 성공적으로 냉각할 수 있었으며 향후 따라서 향후 300kW까지 확장될 예정입니다. 컴퓨팅 성능에서 또 다른 매우 중요한 요소는 전체 환경을 효과적으로 냉각할 수 있는 충분한 능력이 있는지 여부입니다.”