소식

“우리의 차세대 제품이 다음과 같이 반복될 수 있기를 바랍니다.현재 NVIDIA B200과 비교더욱 발전된 제품…”

이는 AI 트레이닝 칩 스타트업인 Zhonghao Xinying의 창업자이자 CEO인 Yang Gongyifan이 최근 Xinying에 공유한 최신 “작은 목표”입니다.양 공이판(Yang Gongyifan)은 칩 R&D 수석 베테랑으로 오라클, 구글 등 기업에서 10년 이상 첨단 칩 R&D에 종사해 왔으며, 칩 R&D 핵심팀에 멤버로 참여했다.구글 TPU 2/3/4설계 및 R&D는 2018년 말 중국으로 돌아와 완전한 칩 설계 팀과 프로토타입 검증 팀을 구성했으며 2020년에 Zhonghao Xinying을 설립했습니다.

그에 따르면 2023년 Zhonghao Xinying사상 처음으로 흑자 수익 달성, 모회사의 순이익은 8,133만 위안에 이르렀고, 연간 수입은 4억 8,500만 위안에 달했습니다.5자금 조달;저것자체 개발한 TPU 트레이닝 칩 '스냅(Snap)' 양산 시작"Snap" 훈련 모델의 컴퓨팅 성능이 NVIDIA A100에 도달했습니다.거의 1.5배 .Zhonghao Xinying은 AI 훈련 칩 'Snap'을 초석으로 사용하고 1,024개 칩의 고속 칩 간 상호 연결 기능을 통해 대규모 AI 지능형 컴퓨팅 클러스터 'Taize'를 구축합니다.킬로카드 클러스터의 컴퓨팅 성능 규모는 200PFLOPS에 이릅니다.。

▲중하오 신잉(Zhonghao Xinying) AI 트레이닝 칩 '스냅(Snap)'

현재 AI 칩 시장을 장악하고 있는 GPU와 달리 Yang Gongyifan이 선택한 트랙은 딥 러닝을 위해 특별히 설계된 TPU 아키텍처입니다. 그는 “TPU 아키텍처는 대형 AI 모델에 당연히 유리한 아키텍처입니다. 동일한 생산 프로세스와 동일한 프로세스를 통해 기존 GPU 아키텍처보다 3~5배의 성능을 달성할 수 있습니다.”

Yang Gong Yifan은 Zhonghao Xinying이 현재국내 유일하게 보유하고 있는티피유통합 아키텍처 교육 및 홍보일체 포함칩핵심기술기업 . 그는 향후 5~10년 후에는티피유그리고 수업티피유아키텍처의 시장 점유율은 다음과 같습니다.80%,나머지10%-20%전통이에요그래픽 카드。

Zhonghao Xinying은 AI 칩의 연구 개발 및 구현을 촉진하는 것 외에도 '견고한' 출력 기능을 제공할 수 있는 사전 훈련된 대형 모델을 자체 개발했으며, 이는 결국 금융, 의료, 교육 분야의 파트너에게 공개될 예정입니다. 등 수직 분야에서 전문적인 대형 모델을 구현합니다.

AI 칩은 돈을 많이 쓰는 장거리 경주로 잘 알려져 있습니다. Zhonghao Xinying은 어떻게 5년 안에 수익성을 달성할 수 있을까요? 칩 스타트업으로서 자체 대형 모델을 개발하고 자체 지능형 컴퓨팅 센터를 구축하는 이유는 무엇이며, 점점 치열해지는 국산 AI 칩 경쟁에서 어떻게 두각을 나타낼 계획인가? 최근 Zhonghao Xinying의 창립자 겸 CEO인 Yang Gongyifan은 Xinying Xinying과 심도 있는 대화를 나누며 기업가 과정의 모든 생각과 선택은 물론 기술 개발 및 비즈니스 구현 동향에 대한 분석과 판단을 공유했습니다.

▲ Zhonghao Xinying의 창립자이자 CEO인 Yang Gongyifan

1. 10년 이상의 칩 연구 개발 경험과 Google TPU 연구 개발에 깊이 관여하여 2018년에 중국으로 돌아와 사업을 시작했습니다.

Yang Gongyifan은 10년 이상 하이엔드 칩 분야에서 쌓은 경험을 바탕으로 올바른 기업가적 방향을 찾을 수 있는 기반을 마련했습니다.

Yang Gongyifan은 스탠포드 대학에서 컴퓨터 과학 석사 학위를 취득한 후 Oracle Corporation에서 SPARCT8/M8을 포함한 12개의 최고 수준 고성능 CPU의 설계 및 생산을 주도했습니다. 열 번도 넘게 나왔어요.

▲ 양궁이판(Yang Gongyifan)이 오라클 재직 시절 발표한 관련 논문 (출처: IEEE Xplore)

2017년 Google에 합류하면서 그는 향후 중국으로 돌아가 사업을 시작할 수 있는 씨앗을 심었습니다.

Yang Gongyifan은 Google에 있는 동안 칩 R&D 핵심 팀의 일원으로 TPU 2/3/4의 설계 및 R&D에 참여했습니다. 그는 컴퓨팅 기반 연구를 수행할 수 있었던 것은 지난 10년의 경험이라고 언급했습니다. 최고의 최적화 후 TPU 2/3/4가 성공적으로 개발되었습니다.

2017년 6월, Google의 공동 저자 8명이 "Attention is All You Need"라는 걸작을 발표했는데, 이는 TPU를 기반으로 교육된 혁신적인 시스템이 될 것입니다.변신 로봇 아키텍처는 극단으로 밀리고 있으며 이는 대형 모델 연구에서 인기를 얻고 있는 Transformer 아키텍처의 시작입니다. 동시에 Yang Gongyifan은 대형 모델이 점차 인간 지능을 갖추고 있으며 TPU가 산업 발전에 큰 영향을 미칠 것이라고 생각합니다. 그는 대형 모델이 2025년과 2026년에 인간을 대체하고 사회 생산성의 핵심이 될 것이라고 굳게 믿습니다.

▲구글 TPU 아키텍처 (출처: 유튜브)

Yang Gongyifan은 이번에 대형 모델에 의한 컴퓨팅 분야의 변화가 인류 역사상 가장 큰 변화라고 믿습니다. 이전의 모든 계산은 단일 또는 다중 애플리케이션을 완료하기 위해 하나의 칩에서 수행되었기 때문에 이제는 수천 개의 칩이 단일 애플리케이션을 완료하는 데 사용되는 것이 처음이므로 전체 컴퓨팅 아키텍처 구현에 큰 문제를 야기합니다. 그것은 기회입니다.

그가 생각하는 것은 이렇게 큰 도전, 이렇게 큰 변화, 이렇게 넓은 범위의 적용 시나리오가 있는 경우는 드물기 때문에 반드시 해야 한다는 것입니다. 이러한 이해를 바탕으로 그는 2018년 말 선전으로 돌아와 국내에서 생산되고 독립적으로 제어 가능한 TPU AI 트레이닝 칩을 구축하기 위한 팀을 구성했으며 2020년에 공식적으로 Zhonghao Xinying을 설립했습니다.

이는 또한 그의 첫 번째 기업가적 성취의 순간을 열었습니다.20192016년에 우리는 시뮬레이터가 완성되고, 실행되고, 잘 작동하는 것을 확인했으며, 이는 칩 설계가 가능하다는 것을 입증했습니다.

창업 초기 양공이판의 생각은 먼저 제품을 만들 수 있는 팀을 꾸리는 것이었다. 따라서 초기 팀은 선전에 상륙하여 칩 설계 팀과 프로토타입 검증 팀을 구성하고 칩 모듈 설계를 완료했습니다. 그 후 Zhonghao Xinying은 2020년에 항저우에 상륙했습니다. 제품 프로모션, 자금 조달 및 칩 대량 생산을 통해 완전한 공급망 팀과 마케팅 팀을 설립했으며 현재 팀 규모는 170명 이상이며 그 중 R&D 인력이 있습니다. 전체의 10%를 차지하는 비율이 80%를 넘는다.

하지만 창업 초기는 순탄치 않았다. 당시 대부분의 국내 플레이어, 투자 기관 및 고객은 업계에서 대형 모델의 향후 개발 및 적용 전망을 인식하지 못했습니다. Yang Gongyifan의 회상에 따르면 Zhonghao Xinying은 설립 초기에 수입이 전혀 없었습니다. 2021년이 되어서야 첫 운영을 달성했고 2023년에 공식적으로 수익을 낼 예정입니다. 2023년에는 회사의 매출이 4억 8,500만 위안에 도달하고, 모회사의 순이익은 8,133만 위안에 달할 것입니다.

현재 Zhonghao Xinying은 5차 자금 조달을 완료했으며 공개된 자금 조달 금액에는 다음이 포함됩니다.2022년도9몇 달 만에 완료ㅏ자금 조달 라운드는 Saizhi Bole Investment가 주도하고 Hangzhou High-tech Investment 등이 참여하는 약 1억 위안입니다.2023수년 연속 완공프리B그리고프리-B+각각 수억 위안과 수천만 위안의 자금을 조달했습니다.

Yang Gongyifan의 관점에서 이들에 대한 투자자의 인식은 초기 단계에서는 팀을 바라보고, 중기적으로는 제품이 시장 수요를 충족하는지에 초점을 맞추고, 후기 단계에서는 초점을 맞춥니다. 해당 제품이 핵심 경쟁력을 갖추고 있는지, 산업의 새로운 확장 방향이 있는지를 살펴봅니다. 제품 레이아웃, 기술 경로 선택 또는 팀 무결성의 관점에서 볼 때 Zhonghao Xinying은 모든 단계에서 뒤처지지 않았습니다.현재 Zhonghao Xinying은 국내 유일의 마스터링 회사로 성장했습니다.티피유통합 아키텍처 교육 및 홍보일체 포함칩 핵심기술을 보유한 기업.

둘,TPU는 대형 모델에 자연스럽게 적응되며,AI 트레이닝 칩 성능은 A100의 1.5배

“컴퓨팅 파워가 인류 발전의 원동력이 되도록 하세요”, Zhonghao Xinying의 사업 레이아웃은 이러한 비전에 따라 전개되고 있습니다.

Yang Gongyifan은 이 목표를 달성하기 위해 가장 먼저 해야 할 일은 칩을 먼저 만드는 것이라고 설명했습니다. 왜냐하면 칩은 기본 인프라가 완성된 후 인프라가 완료될 수 있도록 완전한 공급망에 구축될 수 있기 때문입니다. 지속적인 생산 공급.

반면, 알고리즘 수준에서 산업 모델을 구현하는 생태학적 파트너가 있습니다. 여기서 Zhonghao Xinying의 역할은 대규모 모델을 자체 연구하고 사전 훈련한 다음 이를 금융, 교육, 의료 등 업계 파트너에게 공개하는 것입니다.

대형모델 시대에,티피유그리고변신 로봇아키텍처는 자연스럽게 적응 가능합니다.

에 비해CPU스칼라 계산 단위 및그래픽 카드벡터 계산 단위티피유계산 작업은 2차원 또는 더 높은 차원의 계산 장치를 사용하여 완료할 수 있습니다.티피유이 디자인을 통해 킬로 카드 클러스터를 구현하고 연결하는 것이 더 쉬워졌습니다.1024칩은32×322차원 매트릭스를 통해 각 칩은 전체 네트워크의 모든 칩과 100% 대칭을 달성할 수 있습니다.

그는 덧붙였다,티피유 이 아키텍처는 딥러닝 솔루션에 최적화되어 있으며 지능형 컴퓨팅 네트워크(Intelligent Computing Network), 완카인터넷(Wanka Internet) 등 대규모 딥러닝 계산에도 사용할 수 있습니다.양공이판이 말했다.티피유범용성 측면에서는 성능이 상대적으로 떨어지지만,일체 포함응용 시나리오에서는 동일한 생산 프로세스 및 기술 하에서티피유아키텍처 성능은 전통적입니다.그래픽 카드~의3-5타임스.

확립된5 2018년 Zhonghao Xinying은 칩의 대량 생산과 산업화를 단번에 달성했습니다.R&D팀이 밤을 지새운 것은 이것이 그의 두 번째 성취의 순간이었다.“불을 켜다”, 제품 검증을 완료하는 과정이 아직도 기억에 생생합니다.

엔비디아와 비교하면A100, Zhonghao Xinying이 개발함GPU AI트레이닝 칩“순간”컴퓨팅 성능은1.5동일한 양의 훈련 작업을 완료하면 에너지 소비가 줄어듭니다.30%, 단위 컴퓨팅 전력 비용은 다음과 같습니다.42%。

"타이제"일체 포함서버에는8 "순간" 훈련 칩은 1,000억 개 이상의 매개변수가 있는 대규모 모델의 훈련 및 추론을 지원할 수 있습니다.Yang Gong Yifan은 현재 교육 기간 동안 배송된 제품 중 Zhonghao Xinying의 고객이 완료했다고 밝혔습니다.라마 2Kcal 클러스터에서 다른 모델을 훈련하고 추론합니다.

“순간”독특한 건담으로1024대규모 지능형 컴퓨팅 클러스터를 구축하기 위한 고속 칩 간 상호 연결 기능“타이노리”, 시스템 클러스터 성능은 전통적인그래픽 카드수십번의일체 포함컴퓨팅 요구 사항.

Zhonghao Xinying은 만들 수 있습니다티피유 칩의 또 다른 핵심 포인트는 Yang Gongyifan이 엔지니어를 채용할 때 경험주의를 사용하지 않는다고 말했다는 것입니다.그는 설계 프로세스 초기에 숙련된 엔지니어와 작업할 때 이들 엔지니어가 설계 프로세스를 이해하지 못한다는 사실을 발견했다고 말했습니다.티피유컨셉과 디자인 혁신은 반복되는 경험에 얽매일 가능성이 높으며 문제를 신속하게 해결하고 성능을 최적화하기 위해 더 직접적으로 생각할 수 없습니다.

그는 대형 모델 시대에 더 큰 컴퓨팅 성능에 대한 요구에 직면하여 Wanka 클러스터를 사용할 수 있어야 한다고 덧붙였습니다.티피유네트워킹 기능에서 아키텍처의 자연스러운 이점은 Wanka 클러스터 구축에 더 많은 이점이 있고 상대적 성능이 더 우수하다는 것을 결정합니다.

3. 사전 학습 대형 모델 트랙에 진입하면 TPU 유사 아키텍처의 시장 규모가 80%에 도달할 수 있습니다.

작년에 Zhonghao Xinying은 최고의 인재를 영입하여 대규모 모델 알고리즘 팀을 구성했습니다.

TPU 아키텍처의 고유한 성능은 엔터프라이즈 애플리케이션에 사용되는 소프트웨어의 자유도를 높이고 병렬 설계를 보다 쉽게 ​​완성하여 성능 최적화 및 시스템 구축을 달성할 수 있습니다.

기업의 요구 사항을 더 잘 충족하는 솔루션을 찾기 위해 칩 플레이어는 자체 모델을 교육하여 모델 특성과 애플리케이션 시나리오를 더 잘 이해하고 칩에 대한 고객 만족도와 충성도를 높일 수 있습니다. 현재 범용 대형 모델 제품은 일반적으로 텍스트 이해, 인터넷 정보 검색, 다단계 대화 등 강력한 '유연한' 기능을 갖추고 있습니다. 그러나 고도로 전문적인 산업 응용 시나리오에 직면할 경우 세분화된 비즈니스 지식을 이해하기 어려운 경우가 많습니다. 분야. 논리 및 전문 용어는 동시에 일반 대형 모델의 정량적 계산 정확도가 낮으며 기존 컴퓨팅 기능은 민간 항공 및 금융과 같이 높은 수치 정확도를 요구하는 산업 응용 시나리오를 전혀 충족할 수 없습니다.

이를 기반으로 Zhonghao Xinying은 "견고한" 출력 기능을 갖춘 기본 대형 모델을 구축하고 협력을 위해 금융, 교육, 의료 및 기타 업계 파트너에게 기본 대형 모델을 오픈 소스화하여 업계 파트너가 소프트웨어 스택 및 해당 데이터 교육, 데이터 주석 등을 통해 모델은 업계 지식 보유량을 보유하고 점차적으로 세분화된 시나리오에서 구현되어 특정 생산 환경을 대체할 수 있습니다.

지난해부터 Demo 구현 방법을 연구해 왔으며 타당성을 확인한 후 올해부터 점차적으로 산업 모델 사전 교육을 시작했습니다.

이러한 완전한 비즈니스 레이아웃과 업계 동향에 대한 판단을 통해 Yang Gongyifan은 대형 모델 시대에 향후 5~10년 내에 AI 컴퓨팅 하드웨어 분야에서 TPU 및 TPU 유사 칩의 시장 점유율이 20%에 도달할 것이라고 믿습니다. 80%, 나머지 20%는 기존 GPU입니다.

그는 또한 제품 반복 및 상용화에 대한 Zhonghao Xinying의 목표를 명확히 했습니다. Zhonghao Xinying이 개발 중인 차세대 칩 제품은 NVIDIA B200 성능을 벤치마킹하기 위해 반복될 것으로 예상되며, 상용화 측면에서 통합업체, 운영업체, 주요 인터넷 제조업체 등 광범위한 고객과의 협력이 심화되기를 희망합니다.

결론: TPU 아키텍처 시장이 폭발할 기회가 왔다

Zhonghao Xinying은 2018년 설립 이후 시장 개발 초기 단계부터 대형 모델이 시장 수요를 촉발하는 기회 기간까지 AI 칩의 개발을 목격해 왔습니다. 하지만 돌이켜보면 AI 칩 시장 초창기 스타트업이 TPU 아키텍처로 점차 시장 점유율을 점유하려면 다양한 난제에 직면해야 했다.

오늘날 대형 모델은 컴퓨팅 성능에 대한 수요를 업그레이드하고 AI 칩이 새로운 시대에 진입했으며 TPU 아키텍처의 장점이 등장하여 예정보다 빨리 시장 폭발 기회에 대한 Zhonghao Xinying의 기대를 갖게 했습니다. Yang Gongyifan은 AI의 애플리케이션 시나리오가 이전의 컴퓨팅 사용 시나리오를 훨씬 초과할 것이며 AI 모델에 필요한 컴퓨팅 리소스도 인류 역사상 컴퓨팅 리소스의 상상을 초과할 것이라고 말했습니다. 이는 TPU 아키텍처의 애플리케이션 시나리오를 만듭니다. 시장 수요는 단기적으로 급격히 증가할 것이다.

그는 장래에 Zhonghao Xinying이 중국 AI 칩 업계의 리더가 되기를 바라고 있으며 TPU는 이 트랙에서 'x86'과 유사한 것이 될 가능성이 가장 높습니다. 중국 AI 칩 이야기의 새로운 장이 시작되었습니다…