소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

작가: 제난

"시스템 최적화 소프트웨어의 도움으로 개발의 문턱이 낮아지고, 다양한 하드웨어가 통합되며, 기술 생태학이 발전하게 될 것입니다. 이는 현재 지능형 생태학의 발전에 큰 의미가 있습니다."라고 The Academician은 말했습니다. 중국공정원 겸 중국과학원 컴퓨팅기술연구소 연구원인 Sun Ninghui 위원회 의장 겸 CCF 회장이 기자회견에서 연설했습니다. "스마트 칩과 AI 산업 응용 외에도 국내 생태계를 더 좋게 만들기 위해서는 시스템 소프트웨어 최적화 당사자가 참여하고 협력해야 합니다."

기자회견 중인 쑨닝후이(孫宁军) 학자

"고착된" 컴퓨팅 성능 문제에 직면하여 마침내 시스템 수준 솔루션을 갖게 되었습니다.

7월 20일, AI 인프라 스타트업 Zhongke Jiahe는 1세대 이기종 네이티브 AI 컴퓨팅 도구를 공식 출시했습니다.

국내 컴퓨팅 능력이 대규모로 구현되는 현재 추세에 직면하여 Zhongke Jiahe가 제안한 방법은 효율성을 극대화하면서 다양한 유형의 칩을 대규모로 병렬화할 수 있으며 컴퓨팅 능력 사용자가 별도의 작업 없이 컴퓨팅 능력에 직접 액세스할 수 있도록 합니다. 다양한 칩 생태에 주의를 기울여야 합니다.

Zhongke Jiahe의 창립자이자 CEO인 Cui Huimin은 "Jiahe 이기종 네이티브 AI 컴퓨팅 파워 툴"이 이미 국내 컴퓨팅 파워의 AI 인프라에서 일정한 역할을 수행했다고 발표하고 소개했습니다. 다양한 국내 AI 칩과 호환되며 칩 차이를 보호하기 위한 고성능 통합 인터페이스를 제공합니다.이기종 네이티브 플랫폼을 기반으로 AI 컴퓨팅 파워 클러스터는 대규모 모델 추론 성능을 향상시켰습니다.지연 시간은 3~74배 감소하고 처리량은 1.4~2.1배 증가하며 에너지 효율성은 1.46배 향상되며 매개변수가 340B인 고밀도 대형 모델과 640B인 대형 MoE 모델을 지원할 수 있습니다.。

동시에 Zhongke Jiahe는 칩, 통합업체, 서비스 제공업체 등 10개 이상의 고객에게 고성능 추론 지원을 제공했습니다. 해당 아키텍처는 국내외 주류 대형 모델을 지원하고 다양한 병렬 추론을 수행할 수 있습니다.

기자회견에서 발표된 컴퓨팅 성능 제공업체 및 애플리케이션 파트너로는 AMD, Boyd, Huawei, Hangzhou Artificial Intelligence Computing Center, Open Transun, Moore Thread, Qingyun Technology, Rise VAST, Suiyuan Technology 및 Wuwenxin Qiong, Yunxi Hashrate, Xinhua San이 있습니다. 등(병음에 따라 알파벳순으로 정렬).

기자회견에 참석한 Zhongke Jiahe 창립자 겸 CEO Cui Huimin

"30과 1하이" 달성을 목표로 하는 이기종 기본 AI 컴퓨팅 성능

Zhongke Jiahe가 제안한 계획은 대규모 AI 모델의 적용을 가능하게 하는 것을 목표로 합니다.비용 없는 마이그레이션, 손실 없는 사용, 다양한 칩에 대한 지연 없는 배포의 효율적인 사용을 달성합니다.。

이 소프트웨어 도구 세트에는 이종 네이티브 대형 모델 추론 엔진 "SigInfer", 이종 네이티브 미세 조정 엔진 "SigFT", 자동 연산자 생성 및 변환 도구 "SigTrans"의 세 가지 제품이 포함되어 있습니다.

그 중 어제 출시된 시그인퍼(SigInfer)는 서버 수준의 AI 가속기 카드는 물론 소비자 수준의 GPU까지 지원하는 크로스 플랫폼, 고성능 이기종 네이티브 추론 엔진이다. 따라서 데이터 센터에 배포하고 다양한 최종 장치를 가속화할 수 있습니다.

이기종 컴퓨팅의 기술 기반으로서 SigInfer를 통해 액세스되는 다양한 AI 컴퓨팅 성능은 통합 호출 인터페이스와 비즈니스 애플리케이션의 원활한 마이그레이션을 달성할 수 있습니다. SigInfer는 칩의 컴퓨팅 성능 잠재력을 완전히 활용하기 위해 다양한 컴퓨팅 성능을 호출하면서 다단계 심층 최적화를 수행합니다.

API 제공, 요청 예약, 배치 관리, KV 캐시 최적화, 텐서 병렬 처리, 파이프라인 병렬 처리, 전문가 병렬 처리, 심지어 다중 머신 파이프라인 병렬 처리 지원과 같은 최신 대형 모델 추론 엔진의 다양한 기능을 갖추고 있습니다.

Zhongke Jiahe는 SigInfer가 이미 업계의 대규모 모델 구조 대부분을 지원하고 있다고 말했습니다.

현재 SigInfer는 이미 완전한 추론 엔진 기능을 구현할 수 있습니다. 지원하는 이기종 가속기 카드 클러스터는 하이브리드 추론을 위해 NVIDIA AI 가속기 카드 + 국내 AI 가속기 카드를 유연하게 예약할 수 있으며 최대 수조 개의 대형 모델로 확장할 수 있습니다.

AI 칩 배포를 지원하기 위해 SigInfer를 사용하면 비즈니스 액세스 요구 사항이 증가할 때 대규모 모델 서비스가 높은 처리량과 낮은 대기 시간을 유지할 수 있습니다. 이러한 지표는 생성 AI의 대규모 애플리케이션에 중요합니다.

동일한 NVIDIA 그래픽 카드를 사용하면 SigInfer가 더욱 확실한 가속 효과를 제공할 수 있음을 알 수 있습니다.

또한 유사한 작업을 완료하기 위해 국내 칩을 사용할 때 SigInfer는 병렬 컴퓨팅에서 AI 가속기 카드의 처리 속도를 향상시키는 동시에 토큰 출력 지연을 크게 줄일 수 있습니다.

이기종 네이티브 AI 컴퓨팅 파워 툴은 대형 모델 작업 처리, 운영자 특성, 최적화 목표 적응형 최적화 등의 다양한 단계를 기반으로 AI 가속기의 컴퓨팅 빈도를 조정하여 높은 효율성을 달성할 수 있습니다. Zhongke Jiahe는 데이터 센터를 운영하는 동안 A800과 SigInfer를 사용하면 vllm에 비해 에너지 효율 비율을 46% 높일 수 있다고 계산했습니다.

클라우드 인프라 최적화 외에도 Zhongke Jiahe는 클라이언트 측 추론을 위한 성능 최적화도 시연했습니다. SigInfer는 Intel, Qualcomm 및 AMD와 같은 주요 제조업체를 기반으로 하는 칩 장비를 가속화할 수 있으며 업계의 주류 배포 솔루션과 비교하여 SigInfer는 장치 측 추론 효율성을 최대 5배까지 높일 수 있습니다.

이기종 컴퓨팅과 효율성 향상 뒤에는 일련의 최첨단 기술과 엔지니어링의 적용과 최적화가 있습니다.

병렬 컴퓨팅의 효율성을 향상시키기 위해 Zhongke Jiahe는 일련의 최적화를 도입했습니다. 예를 들어 심층 디코딩 단계에서 메모리 액세스 최적화를 통해 KV 캐시는 L2에서 로드하는 것과 비교하여 지연 시간과 대역폭이 모두 최적화되었습니다.

동시에, 병렬성 감소를 완화하기 위해 Zhongke Jiahe의 연구원들은 데이터의 시퀀스 차원에서도 병렬 분할을 수행했습니다. KV 캐시의 재사용 최적화와 결합되어 메모리 액세스를 절약할 뿐만 아니라 병렬성을 높여 전체 어텐션 메커니즘의 핵심 계산 실행 효율성을 향상시킵니다.

Zhongke Jiahe는 또한 이기종 컴퓨팅 성능을 위한 고성능 연산자 생성 방법을 탐구했습니다. Zhongke Jiahe는 컴퓨팅 성능 제조업체와 협력하여 단도를 국내 칩 아키텍처로 마이그레이션하여 행렬 곱셈의 운영 효율성을 크게 향상시켰습니다. 이 중 컴파일 기술과 결합된 최적화를 통해 20% 이상의 성능 개선을 달성했다.

일련의 기술 지원을 통해 Jiahe 이기종 기본 AI 컴퓨팅 파워 툴은 뛰어난 에너지 효율성 최적화를 달성했습니다.

편집 기술에서 시작: Zhongke Jiahe의 기술 경로

과거 일부 AI컴퓨팅 인프라 기업이 제공했던 역량과 달리,Zhongke Jiahe가 제공하는 이기종 컴퓨팅 및 가속은 컴파일 기술을 중심으로 합니다.。

컴퓨터의 경우 컴파일 계층이 수행하는 작업은 "번역"입니다. 인간이 작성한 고급 프로그래밍 언어 내용을 기계가 이해하고 실행할 수 있는 언어로 변환하는 역할을 합니다.

이 과정에서 컴파일도 최적화되어야 합니다. 즉, 생성된 기계어 코드의 운영 효율성을 향상시켜야 합니다. 칩 성능과 관련하여 컴파일은 큰 역할을 하지만 간과되는 경우가 많습니다.

CUDA 컴퓨팅 플랫폼은 업계에서 가장 널리 사용되는 NVIDIA 칩에서 중요한 역할을 합니다. 여기에는 프로그래밍 언어, 컴파일러, 다양한 고성능 가속 라이브러리 및 AI 프레임워크가 포함되어 있어 컴퓨터가 작업을 수행할 때 분배기 역할을 하여 다양한 하드웨어의 컴퓨팅 리소스를 최대한 활용하여 복잡한 코드 모델을 더 빠르게 실행할 수 있습니다. 오늘날의 AI 생태계는 크게 CUDA를 기반으로 하고 있다고 할 수 있습니다.

국내 컴퓨팅 파워의 경우 대규모 적용을 위해서는 필요한 생태계와 역량을 구축하는 것이 필요하다.

생성적 AI 시대에 컴퓨팅 성능에 대한 사람들의 요구가 칩 기술의 발전을 촉진했지만 다음과 같은 새로운 과제도 대두되었습니다.

• 칩 기업 입장에서도 생태계가 여러 조각으로 발전하고 있어 개발 비용이 증가하고 구현 효율성, 호환성 등의 문제가 발생할 것입니다.
• 산업 발전의 관점에서 볼 때, AI 기술은 빠르게 발전하고 있으며 점점 더 많은 시나리오를 다루고 있습니다. 이는 더 많은 유형의 컴퓨팅 성능이 관련된다는 것을 의미하며, 이는 이기종 컴퓨팅에 대한 수요를 더욱 촉진합니다.

따라서 업계에서는 다양한 국산 칩을 지원할 수 있는 효율적인 툴체인이 시급히 필요합니다. 보편적이고 저렴한 고성능 기본 소프트웨어 세트가 등장하고 생태학적 파트너가 NVIDIA 생태계를 기반으로 개발된 애플리케이션을 신속하게 이식할 수 있도록 도울 수 있다면 국내 칩의 잠재력이 완전히 발휘되어 기술 연구 개발의 속도를 높일 수 있습니다. 점차적으로 AI 컴퓨팅 파워 생태계를 구축하는 긍정적인 순환을 구축합니다.

이것이 Zhongke Jiahe가 하고 있는 일입니다.

Zhongke Jiahe가 제공하는 기본 소프트웨어 플랫폼 계층은 운영자, 컴파일러 및 프레임워크 계층에 위치하여 하드웨어와 소프트웨어 간의 브리지를 구축합니다.제공되는 이기종 기본 AI 컴퓨팅 도구는 사용자가 AI 모델과 칩 아키텍처를 원활하게 마이그레이션하는 데 도움을 주어 AI 애플리케이션에 큰 편의성을 제공합니다.

이러한 수준의 기능에는 모두 컴파일 기술이 포함됩니다. AI 컴파일의 적용 범위에는 레이어와 연산자 레이어가 모두 포함됩니다. 기존 컴파일러에 비해 의미 변환 범위가 더 넓습니다. 예를 들어 AI 컴파일러는 일반적으로 계산 그래프 분할, 하위 그래프 융합, 병렬 컴퓨팅, 데이터 차단 등을 고려해야 합니다. 이는 해결하기 어려운 문제입니다.

이에 대해 Zhongke Jiahe는 Tensor 표현 수준에서 전역 데이터 흐름 분석을 수행하고, 정확한 계산 그래프와 데이터 종속성 그래프를 구축한 후, 연산자 융합을 위해 연산자 경계를 허무는 등 많은 연구를 완료하여 좋은 결과를 얻었습니다. 효과. 일부 네트워크에서는 해당 방식이 업계 고급 수준에 비해 최대 3.7배의 가속률을 달성했다. 올해 컴퓨터 분야 최고 컨퍼런스에서 관련 연구 성과가 발표됐다.

국내 AI 생태계를 번영시키는 데 도움이 되는 솔루션을 지원하는 엔드투엔드 컴퓨팅 성능 구축

Zhongke Jiahe는 2023년 7월에 설립되었으며 팀은 주로 중국과학원 컴퓨팅 기술 연구소 출신입니다. 창립자 Cui Huimin은 칭화대학교 컴퓨터과학과를 졸업하고 중국과학원 컴퓨터기술연구소 편찬팀장을 맡고 있습니다. 회사의 핵심 팀은 컴파일러 연구 및 개발 분야에서 20년 이상의 경험을 보유하고 있으며 다수의 국내 칩에 대한 컴파일러 연구 및 개발을 주도하거나 참여하는 핵심 구성원으로 활동해 왔습니다.

회사는 창립 이래 칩 컴파일 및 최적화 기술에 주력해 왔으며 "칩의 결합된 힘을 모아 국내 생태계 구축"이라는 사명을 가지고 보편적이고 저렴한 비용으로 고성능 컴퓨팅 리소스를 제공하기 위해 최선을 다하고 있습니다. 현재 Zhongke Jiahe는 총 1억 위안에 달하는 여러 차례의 자금 조달을 받았습니다.

Zhongke Jiahe는 이기종 컴퓨팅 성능을 지원하는 AI 대형 모델 추론 엔진, 대형 모델 미세 조정 프레임워크 및 AI 컴파일 도구 제품군을 포함하여 세 가지 경로를 중심으로 일련의 제품을 구축하고 있습니다. 이는 컴퓨팅 파워 사용자가 다양한 AI 컴퓨팅 파워를 신속하게 사용하도록 도울 수 있을 뿐만 아니라 컴퓨팅 파워 공급업체가 소프트웨어 생태계를 개선하고 경쟁력을 강화하여 국내 AI 컴퓨팅 파워 생태계의 중요한 부분을 완성하도록 도울 수 있습니다.

더 중요한 것은 Zhongke Jiahe가 수많은 컴퓨팅 파워 사용자와 컴퓨팅 파워 제공자를 연결하는 '소통' 다리가 되어 양측이 행복하게 양방향으로 갈 수 있도록 하여 이종 네이티브 AI 컴퓨팅 파워의 개발을 촉진하기를 희망한다는 것입니다. 대규모 적용과 국내 AI 생태계의 활발한 발전을 위해 노력하겠습니다.