समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

नवीन बुद्धि प्रतिवेदन

सम्पादकः - एतावत् निद्रालुः ताओजी

[नव प्रज्ञायाः परिचयः] । डिजाइनदोषाणां कारणात् एनवीडिया इत्यस्य सर्वाधिकं शक्तिशाली एआइ चिप् ब्लैकवेल् वास्तवमेव प्रेषणार्थं विलम्बं कर्तुं गच्छति। दातृपितरः शोकं कुर्वन्ति स्म, सर्वाणि निर्धारितयोजनानि न्यूनातिन्यूनं मासत्रयं यावत् विलम्बितानि भविष्यन्ति इति अपेक्षा आसीत् ।

NVIDIA GPU सदैव OpenAI इत्यादीनां बृहत् मॉडलकम्पनीनां कृते AI अनुसन्धानस्य विकासस्य च प्राणः अस्ति ।

अधुना Blackwell GPUs इत्यस्मिन् डिजाइनदोषाणां कारणात् Nvidia इत्यस्य प्रेषणं ३ मासान् वा अधिकं वा विलम्बितव्यं भवति ।

सूचनाः विशेषतया अवदन् यत् टीएसएमसी-इञ्जिनीयराः अन्तिमसप्ताहेषु अस्य दोषस्य आविष्कारं कृतवन्तः यतः ते ब्ल्याक्वेल् चिप्स् सामूहिक-उत्पादनार्थं सज्जीकृतवन्तः ।

अधुना एव गतसप्ताहे लाओ हुआङ्ग् इत्यनेन SIGGRAPH इत्यत्र उक्तं यत् एनवीडिया इत्यनेन विश्वस्य ग्राहकेभ्यः ब्लैकवेल् अभियांत्रिकी नमूनानि प्रदत्तानि।

तस्य मुखस्य उपशमस्य दृष्टिः अप्रत्याशितविलम्बस्य संकेतं न ददाति स्म ।

अतः, चिप् डिजाइनस्य दोषाः कुत्र सन्ति ?

GB200 इत्यस्मिन् २ ब्ल्याक्वेल् जीपीयू १ ग्रेस् सीपीयू च सन्ति । समस्या Blackwell GPUद्वयं संयोजयन्तं कीलसर्किट् इत्यत्र अस्ति ।

एषा एव समस्या TSMC इत्यस्य GB200 इत्यस्य उपजस्य दरस्य न्यूनतां जनयति ।

नवीनतमचिप्सस्य विलम्बेन प्रेषणस्य अर्थः अस्ति यत् मेटा, गूगल, माइक्रोसॉफ्ट इत्यादीनां प्रमुखप्रौद्योगिकीकम्पनीनां कृते एआइ प्रशिक्षणप्रक्रिया प्रभाविता भविष्यति।

अपि च तेषां दत्तांशकेन्द्रनिर्माणे विलम्बः अवश्यमेव भविष्यति।

आगामिवर्षस्य प्रथमत्रिमासिकपर्यन्तं ब्ल्याक्वेल् चिप्स् इत्यस्य बृहत् परिमाणेन निर्यातः भविष्यति इति कथ्यते ।

SemiAnalysis इत्यस्य नवीनतमप्रतिवेदने NVIDIA इत्यस्य सम्मुखीभूतानां तकनीकीचुनौत्यानां, विलम्बितशिपमेण्ट्-पश्चात् समयसूचना, नूतन-प्रणाली MGX GB200A Ultra NVL36 इति च विवरणं दत्तम् अस्ति

ब्लैकवेल् मार्चमासस्य विलम्बं करोति, आक्रोशस्य मध्यम्

अहम् अद्यापि स्मरामि यत् GTC 2024 सम्मेलने लाओ हुआङ्गः सर्वाधिकं शक्तिशाली Blackwell आर्किटेक्चर GPU धारयति स्म तथा च विश्वस्य समक्षं सर्वाधिकं शक्तिशाली प्रदर्शनपशुं घोषितवान्।

मेमासे सः सार्वजनिकरूपेण अवदत् यत् "अस्मिन् वर्षे अन्ते वयं बहुसंख्याकाः ब्ल्याक्वेल् आर्किटेक्चरचिप्स् निर्यातयितुं योजनामस्ति" इति ।

सः वित्तीयप्रतिवेदनसमागमे अपि आत्मविश्वासेन अवदत् यत्, "अस्मिन् वर्षे वयं बहु ब्ल्याक्वेल्-राजस्वं पश्यामः" इति ।

एनवीडिया-भागधारकाणां ब्लैकवेल् जीपीयू इत्यस्य विषये महती आशा अस्ति ।

कीबैङ्क् कैपिटल मार्केट्स् इत्यस्य विश्लेषकाः अनुमानयन्ति यत् ब्लैकवेल् चिप्स् इत्यनेन एनवीडिया डाटा सेण्टर इत्यस्य राजस्वं २०२४ तमे वर्षे ४७.५ बिलियन अमेरिकी डॉलरतः २०२५ तमे वर्षे २०० बिलियन अमेरिकी डॉलरात् अधिकं भवति

अन्येषु शब्देषु, GPUs इत्यस्य Blackwell श्रृङ्खला Nvidia इत्यस्य भविष्यस्य विक्रयणस्य राजस्वस्य च निर्णायकभूमिकां निर्वहति ।

अप्रत्याशितरूपेण अस्य वर्षस्य उत्तरार्धस्य आगामिवर्षस्य प्रथमार्धस्य च एनवीडिया इत्यस्य उत्पादनस्य लक्ष्यं प्रत्यक्षतया प्रभावितं कृतवन्तः ।

ब्लैकवेल् चिप् डिजाईन् इत्यत्र सम्बद्धाः अन्तःस्थजनाः अवदन् यत् एनवीडिया TSMC इत्यनेन सह चिप् उत्पादनस्य, संचालनस्य च परीक्षणार्थं यथाशीघ्रं समस्यायाः समाधानं कर्तुं कार्यं कुर्वन् अस्ति।

परन्तु एनवीडिया इत्यस्य वर्तमानः उपायः अस्ति यत् हॉपर-श्रृङ्खला-चिप्स्-इत्यस्य प्रेषणं निरन्तरं विस्तारयितुं, अस्मिन् वर्षे उत्तरार्धे योजनानुसारं ब्लैकवेल्-जीपीयू-उत्पादनं च त्वरितम् अस्ति

दशकोटिरूप्यकाणि व्यययित्वा एआइ-प्रशिक्षणं विलम्बितम् अस्ति

न केवलं, अस्य श्रृङ्खलाप्रभावस्य बृहत् मॉडलविकासकानाम्, डाटा सेण्टर मेघसेवाप्रदातृणां च कृते घातकः आघातः भविष्यति ।

एआइ-प्रशिक्षणार्थं मेटा, माइक्रोसॉफ्ट्, गूगल इत्यादयः वित्तीयपृष्ठपोषकाः दशकोटिरूप्यकाणि व्यययित्वा बहुसंख्याकाः ब्ल्याक्वेल् चिप्स् आदेशितवन्तः ।

गूगलेन ४,००,००० GB200 अधिकं आदेशः दत्तः, अपि च सर्वर हार्डवेयर, गूगलस्य आदेशस्य व्ययः १० अरब अमेरिकी डॉलरात् बहु अधिकः अस्ति ।

अस्मिन् वर्षे दिग्गजः पूर्वमेव चिप्स् इत्यादिषु उपकरणसम्पत्तौ प्रायः ५० अरब डॉलरं व्यययति, यत् गतवर्षस्य अपेक्षया ५०% अधिकं वृद्धिः अस्ति ।

तदतिरिक्तं मेटा इत्यनेन न्यूनातिन्यूनं १० अरब अमेरिकी-डॉलर्-रूप्यकाणां आदेशाः अपि दत्ताः, यदा तु माइक्रोसॉफ्ट-संस्थायाः आदेश-आकारः २०% इत्येव वर्धितः अस्ति ।

परन्तु एतयोः कम्पनीयोः विशिष्टः आदेशस्य आकारः अद्यापि न निर्धारितः ।

विषये परिचितानाम् अनुसारं माइक्रोसॉफ्ट् २०२५ तमस्य वर्षस्य प्रथमत्रिमासे यावत् ओपनएआइ कृते ५५,०००-६५,००० जीबी२०० चिप्स् सज्जीकर्तुं योजनां करोति ।

अपि च, माइक्रोसॉफ्ट-प्रबन्धनेन मूलतः २०२५ तमस्य वर्षस्य जनवरीमासे ओपनएआइ-इत्यस्मै ब्लैकवेल्-सञ्चालित-सर्वर्-प्रदानस्य योजना आसीत् ।

इदानीं दृश्यते यत् मूलयोजना मार्चमासपर्यन्तं अथवा तदनन्तरं वसन्तऋतौ स्थगितव्यम्।

मूलतः निर्धारितसमयानुसारं ते २०२५ तमस्य वर्षस्य प्रथमत्रिमासे नूतनस्य सुपरकम्प्यूटिङ्ग्-समूहस्य संचालनं आरभन्ते ।

ओपनएआइ सहिताः एआइ-कम्पनयः एलएलएम-इत्यस्य अग्रिम-पीढीयाः विकासाय नूतनानां चिप्-इत्यस्य उपयोगं कर्तुं प्रतीक्षन्ते ।

यतो हि बृहत् मॉडल्-प्रशिक्षणाय बहुगुणाधिकं कम्प्यूटिंग्-शक्तिः आवश्यकी भवति, अतः जटिल-प्रश्नानां उत्तम-उत्तरं दातुं, बहु-चरणीय-कार्यं स्वचालितं कर्तुं, अधिक-वास्तविक-वीडियो-जननं कर्तुं च शक्नोति

अतिशक्तिशालिनः एआइ इत्यस्य अग्रिमपीढी एनविडिया इत्यस्य नवीनतम एआइ चिप्स् इत्यस्य उपरि निर्भरं भवति इति वक्तुं शक्यते ।

इतिहासे दुर्लभः विलम्बः

परन्तु एषः बृहत्-प्रमाणस्य चिप्-आर्डर्-विलम्बः न केवलं सर्वेषां कृते अप्रत्याशितः, अपितु दुर्लभः अपि अस्ति ।

टीएसएमसी इत्यनेन प्रारम्भे तृतीयत्रिमासे ब्लैकवेल् चिप्स् इत्यस्य सामूहिकं उत्पादनं आरभ्य चतुर्थे त्रैमासिके एनवीडिया ग्राहकेभ्यः बृहत्परिमाणेन प्रेषणं आरभ्यत इति योजना कृता आसीत् ।

अन्तःस्थैः ज्ञातं यत् अधुना चतुर्थे त्रैमासिके ब्ल्याक्वेल् चिप्स् सामूहिकनिर्माणे प्रवेशं प्राप्नुयुः, यदि अधिकसमस्याः न सन्ति तर्हि अनन्तरं त्रैमासिकेषु सर्वराः बृहत्मात्रायां निर्यातिताः भविष्यन्ति।

वस्तुतः २०२० तमे वर्षे एव एनविडिया इत्यस्य प्रमुखस्य GPU इत्यस्य प्रारम्भिकसंस्करणं केषाञ्चन समस्यानां कारणात् विलम्बं कर्तव्यम् आसीत् ।

परन्तु एनवीडिया इत्यस्य सम्मुखे तस्मिन् समये जोखिमाः न्यूनाः आसन्, ग्राहकाः स्वस्य आदेशं प्राप्तुं त्वरितम् न आसन्, तथा च दत्तांशकेन्द्रेभ्यः तुल्यकालिकरूपेण अल्पं लाभं प्राप्तुं शक्यते स्म

अस्मिन् समये बृहत् उत्पादनात् पूर्वं प्रमुखाः डिजाइनदोषाः आविष्कृताः भवन्ति इति खलु अतीव दुर्लभम् ।

चिप डिजाइनरः सामान्यतया TSMC fabs इत्यनेन सह बहुविधं उत्पादनपरीक्षां अनुकरणं च कर्तुं कार्यं कुर्वन्ति येन ग्राहकानाम् बृहत् आदेशं स्वीकुर्वितुं पूर्वं उत्पादस्य व्यवहार्यतां सुचारुविनिर्माणप्रक्रिया च सुनिश्चिता भवति

TSMC इत्यस्य कृते उत्पादनपङ्क्तिं स्थगयित्वा सामूहिकरूपेण उत्पादनं कर्तुं प्रवृत्तस्य उत्पादस्य पुनर्निर्माणं दुर्लभम् अस्ति ।

तेषां कृते जीबी२०० सामूहिकनिर्माणस्य पूर्णतया सज्जता कृता अस्ति, यत्र समर्पितानां यन्त्रक्षमतायाः आवंटनं अपि अस्ति ।

अधुना यावत् समस्यायाः समाधानं न भवति तावत् रोबोट्-आकाराः निष्क्रियरूपेण उपविष्टाः भवेयुः ।

डिजाइनदोषः एनवीडिया इत्यस्य एनवीलिङ्क् सर्वर रैक्स् इत्यस्य उत्पादनं वितरणं च प्रभावितं करिष्यति, यतः सर्वरस्य उत्तरदायी कम्पनी सर्वर रैक् डिजाइनं अन्तिमरूपेण निर्धारयितुं पूर्वं नूतनानां चिप् नमूनानां प्रतीक्षां कर्तुं अर्हति

पुनर्निर्माणं प्रारम्भं कर्तुं बाध्यः

तकनीकीचुनौत्यैः एनवीडिया इत्यनेन MGX GB200A Ultra NVL36 इत्यादिकं नूतनं प्रणालीं घटकं च आर्किटेक्चरं तत्कालं विकसितुं अपि बाध्यता अभवत् ।

अस्य नूतनस्य डिजाइनस्य दर्जनशः अपस्ट्रीम-डाउनस्ट्रीम-आपूर्तिकर्तृषु अपि महत्त्वपूर्णः प्रभावः भविष्यति ।

ब्लैकवेल् श्रृङ्खलायां सर्वाधिकं प्रौद्योगिकीरूपेण उन्नतचिप् इति नाम्ना एनवीडिया इत्यनेन सिस्टम् स्तरस्य GB200 इत्यस्य कृते बोल्ड् तकनीकी विकल्पाः कृताः ।

इदं ७२-जीपीयू रैक् प्रति रैक् १२५ किलोवाट् अभूतपूर्वं शक्तिघनत्वं प्रदाति । तस्य तुलने अधिकांशदत्तांशकेन्द्ररैक् केवलं १२किलोवाट् तः २० किलोवाट् यावत् भवति ।

एतादृशी जटिला प्रणाल्याः विद्युत्वितरणस्य विषयेषु, अतितापनं, जलशीतलनप्रदायशृङ्खलावृद्धिः, द्रुतविच्छेदनजलशीतलनप्रणाल्याः लीकः, विविधसर्किटबोर्डजटिलताविषयेषु च अनेकाः विषयाः अपि उत्पन्नाः, तथा च केचन आपूर्तिकर्तारः डिजाइनरः च अप्रत्याशितरूपेण गृहीतवन्तः

तत् न यत् Nvidia उत्पादनं न्यूनीकरोति वा प्रमुखं मार्गचित्रसमायोजनं करोति, तथापि।

मूलविषयः यः वास्तवतः मालवाहनानि प्रभावितं करोति सः NVIDIA इत्यस्य Blackwell आर्किटेक्चरस्य एव डिजाइनः अस्ति ।

ब्लैकवेल् संकुलं TSMC इत्यस्य CoWoS-L प्रौद्योगिक्याः उपयोगेन उच्चमात्रायां उत्पादनार्थं डिजाइनं कृतं प्रथमं संकुलम् अस्ति ।

CoWoS-L इत्यस्य कृते संकुलस्य अन्तः विविधगणनायाः भण्डारणस्य च मध्ये संचारस्य सेतुबन्धनार्थं स्थानीयसिलिकॉन्-अन्तरसंयोजनस्य (LSI) तथा एम्बेडेड्-सेतुचिप्स-सहितं RDL-इण्टरपोजरस्य उपयोगः आवश्यकः भवति

वर्तमान CoWoS-S प्रौद्योगिक्याः अपेक्षया CoWoS-L बहु जटिलं वर्तते, परन्तु भविष्यम् एव ।

एनवीडिया तथा टीएसएमसी इत्येतयोः अतीव आक्रामकवृद्धियोजना अस्ति, प्रतित्रिमासे दशलाखचिप्सस्य लक्ष्यं अतिक्रान्तम् ।

परन्तु तस्य परिणामेण विविधाः समस्याः उत्पन्नाः सन्ति ।

एकः मुद्दा अस्ति यत् कार्बनिक-अन्तर्पोजरस्य सिलिकॉन-अन्तर्पोजरस्य च मध्ये बहुविध-सूक्ष्म-पिच-बम्प-सेतुः निवेशनेन सिलिकॉन-डाय, सेतुः, कार्बनिक-इण्टरपोजर-, सबस्ट्रेट्-इत्येतयोः मध्ये तापविस्तारस्य गुणांकस्य (CTE) असङ्गतिः भवितुम् अर्हति, यस्य परिणामः भवति वार्पेजः

सेतुचिप्सस्य विन्यासे अतीव उच्चसटीकता आवश्यकी भवति, विशेषतः यदा २ मुख्यगणनाचिप्स् मध्ये सेतुषु विषयः आगच्छति, यतः एते सेतुः १० TB/s अन्तर-चिप-अन्तर-संयोजनानां समर्थनाय महत्त्वपूर्णाः सन्ति

एकः प्रमुखः डिजाइन-विषयः सेतु-चिप्-सम्बद्धः इति चर्चा अस्ति । तस्मिन् एव काले शीर्षस्थानां कतिपयानां वैश्विकतारधातुस्तरानाम्, चिपस्य उल्टानां च पुनर्निर्माणस्य आवश्यकता वर्तते । एतत् बहुमासानां विलम्बस्य मुख्यकारणेषु अन्यतमम् अस्ति ।

अन्यत् समस्या अस्ति यत् TSMC इत्यत्र पर्याप्तं CoWoS-L उत्पादनक्षमता नास्ति ।

विगतकेषु वर्षेषु TSMC इत्यनेन CoWoS-S क्षमतायाः बृहत् परिमाणं निर्मितम्, यत्र Nvidia इत्यस्य अधिकांशः भागः अस्ति ।

अधुना Nvidia इत्यनेन CoWoS-L इत्यत्र माङ्गं द्रुतगत्या स्थानान्तरितम् अस्ति, TSMC CoWoS-L इत्यस्य कृते नूतनं fab AP6 निर्माति तथा च AP3 इत्यस्मिन् विद्यमानं CoWoS-S क्षमतां पुनः स्थापयति।

अस्य कृते TSMC इत्यस्य पुरातन CoWoS-S उत्पादनक्षमतायाः परिवर्तनस्य आवश्यकता वर्तते, अन्यथा एताः क्षमताः निष्क्रियाः भविष्यन्ति तथा च CoWoS-L अधिकं मन्दं वर्धयिष्यति। एषा च परिवर्तनप्रक्रिया वृद्धिं अतीव विषमं करिष्यति।

एतयोः समस्यायोः संयोजनेन TSMC स्पष्टतया Nvidia इत्यस्य आवश्यकतानुसारं पर्याप्तं Blackwell चिप्स् आपूर्तिं कर्तुं असमर्थः अस्ति ।

फलतः एनवीडिया प्रायः सर्वाणि उत्पादनक्षमता GB200 NVL 36x2 तथा NVL72 रैक-स्केल-प्रणालीषु केन्द्रीक्रियते । तथा च B100, B200 इत्यनेन सुसज्जिताः HGX कम्प्यूटिङ्ग् मॉड्यूल्स् रद्दाः अभवन् ।

विकल्परूपेण NVIDIA B102 चिप् आधारितं Blackwell GPU-B200A इत्येतत् प्रक्षेपणं करिष्यति तथा च मध्यतः निम्नपर्यन्तं AI प्रणालीनां आवश्यकतानां पूर्तये 4-स्तरीय HBM स्मृत्या सुसज्जितं भविष्यति

रोचकं तत् अस्ति यत् एतत् B102 चिप् चीनस्य “विशेषसंस्करणस्य” B20 इत्यस्मिन् अपि उपयुज्यते ।

यतः B102 एकः अखण्डः कम्प्यूटिङ्ग् चिप् अस्ति, अतः Nvidia न केवलं CoWoS-S इत्यत्र तस्य पैकेजिंग् कर्तुं शक्नोति, अपितु TSMC इत्यस्य अतिरिक्तं अन्येभ्यः आपूर्तिकर्ताभ्यः अपि 2.5D पैकेजिंग् कर्तुं शक्नोति, यथा Amkor, ASE SPIL, Samsung च

B200A 700W तथा 1000W HGX रूपेण दृश्यते, यत् 144GB पर्यन्तं HBM3E विडियो मेमोरी तथा 4 TB/s पर्यन्तं बैण्डविड्थ् यावत् सुसज्जितम् अस्ति । ज्ञातव्यं यत् एतत् H200 इत्यस्य स्मृति-बैण्डविड्थ् इत्यस्मात् न्यूनम् अस्ति ।

तदनन्तरं मध्य-परिधि-वर्धितं संस्करणम् अस्ति - Blackwell Ultra ।

मानक CoWoS-L Blackwell Ultra, अर्थात् B210 अथवा B200 Ultra, न केवलं स्मृति-ताजगीकरणस्य दृष्ट्या 12-स्तरीय-HBM3E 288GB पर्यन्तं प्राप्नोति, अपितु FLOPS-प्रदर्शने 50% पर्यन्तं सुधारं करोति

B200A Ultra इत्यस्य FLOPS अधिकानि भविष्यन्ति, परन्तु विडियो मेमोरी उन्नयनं न भविष्यति ।

मूल B200A इत्यस्य समान HGX विन्यासस्य अतिरिक्तं B200A Ultra इत्यनेन नूतनं MGX NVL 36 रूपं अपि प्रवर्तते ।

5,000 GPU तः न्यूनतया कार्यभारस्य प्रशिक्षणं कुर्वन् HGX Blackwell इत्यस्य प्रदर्शनं/TCO उत्तमम् अस्ति ।

अद्यापि MGX NVL36 अधिकलचीलमूलसंरचनायाः कारणात् अनेकेषां अग्रिम-पीढी-माडलानाम् आदर्शः विकल्पः अस्ति ।

यतः Llama 3 405B पूर्वमेव H200 HGX सर्वरस्य सीमायाः समीपे अस्ति, अतः अग्रिमपीढीयाः MoE LLAMA 4 निश्चितरूपेण एकस्मिन् Blackwell HGX सर्वर नोड् मध्ये न उपयुज्यते

MGX B200A Ultra NVL36 इत्यस्य मूल्यानुमानेन सह मिलित्वा SemiAnalysis इत्यस्य मतं यत् HGX B200A इत्यस्य विक्रयणं बहु उत्तमं न भविष्यति।

MGX GB200A अल्ट्रा NVL36 वास्तुकला

MGX GB200A NVL36 SKU इति वायुशीतलः 40kW/rack सर्वरः अस्ति यस्य 36 GPUs NVLink मार्गेण पूर्णतया परस्परं सम्बद्धाः सन्ति ।

तेषु प्रत्येकं रैक् ९ कम्प्यूट् ट्रे ९ एनवीस्विच् ट्रे च सुसज्जिताः भविष्यन्ति । प्रत्येकं कम्प्यूटिंग् ट्रे 2U भवति तथा च 1 Grace CPU तथा 4 700W B200A Blackwell GPUs सन्ति । प्रत्येकं 1U NVSwitch ट्रे केवलं एकः स्विच ASIC भवति, तथा च प्रत्येकस्य स्विच ASIC इत्यस्य बैण्डविड्थः 28.8 Tbit/s भवति ।

तस्य तुलने GB200 NVL72/36x2 इत्यस्मिन् 2 Grace CPUs तथा 4 1200W Blackwell GPUs इत्येव पैक् भवति ।

प्रति-रैक् केवलं ४० किलोवाट्-शक्तिः, वायु-शीतलीकरणस्य क्षमता च विद्यमानाः आँकडा-केन्द्र-सञ्चालकाः स्वस्य आधारभूतसंरचनायाः पुनः अभियांत्रिकीं विना MGX NVL36 इत्यस्य परिनियोजनं सुलभतया कर्तुं शक्नुवन्ति

GB200 NVL72/36x2 इत्यस्य विपरीतम्, 4 GPUs इत्यस्य 1 CPU इत्यस्य अनुपातस्य अर्थः अस्ति यत् प्रत्येकं GPU केवलं C2C बैण्डविड्थस्य आधा भागं प्राप्तुं शक्नोति ।

अतः MGX NVL36 C2C अन्तरसंयोजनस्य उपयोगं कर्तुं न शक्नोति, परन्तु GPU-CPU संचारं पूर्णं कर्तुं एकीकृतस्य ConnectX-8 PCIe स्विचस्य आवश्यकता भवति ।

तदतिरिक्तं, अन्येषां सर्वेषां विद्यमानानाम् AI सर्वराणां (HGX H100/B100/B200, GB200 NVL72/36x2, MI300) विपरीतम्, प्रत्येकं पृष्ठभागस्य NIC इदानीं 2 GPUs कृते उत्तरदायी भविष्यति ।

अस्य अर्थः अस्ति यत् यद्यपि ConnectX-8 NIC डिजाइनः 800G पृष्ठभागस्य संजालीकरणं प्रदातुं शक्नोति तथापि प्रत्येकं GPU केवलं 400G पृष्ठभागस्य InfiniBand/RoCE बैण्डविड्थं प्राप्तुं शक्नोति (GB200 NVL72/36x2 अर्धे अपि)

GB200 NVL72/NVL36x2 कम्प्यूट् ट्रे इत्यस्य मूलं Bianca बोर्ड् अस्ति, यस्मिन् 2 Blackwell B200 GPUs 1 Grace CPU च सन्ति ।

यतः प्रत्येकं कम्प्यूटिङ्ग् ट्रे २ बियान्का बोर्ड् इत्यनेन सुसज्जितम् अस्ति, अतः कुलम् २ ग्रेस् सीपीयू, ४ १२००डब्ल्यू ब्लैकवेल् जीपीयू च सुसज्जिताः भविष्यन्ति ।

तस्य विपरीतम् MGX GB200A NVL36 इत्यस्य CPU तथा GPU भिन्न-भिन्न PCBs इत्यत्र भविष्यति, HGX सर्वरस्य डिजाइनस्य सदृशम् ।

परन्तु HGX सर्वराणां विपरीतम् प्रति कम्प्यूट् ट्रे 4 GPUs 2 2-GPU बोर्ड् इत्यत्र उपविभक्ताः भविष्यन्ति । प्रत्येकं 2-GPU बोर्डं Bianca बोर्डस्य सदृशं Mirror Mezz संयोजकं युक्तं भवति ।

ततः एतेषां Mirror Mezz संयोजकानाम् उपयोगः ConnectX-8 midplane इत्यनेन सह सम्बद्धं कर्तुं भविष्यति तथा च ConnectX-8 ASIC इत्यस्य एकीकृतेन PCIe स्विचेन सह GPU, स्थानीय NVMe भण्डारणं तथा Grace CPU इत्यनेन सह सम्बद्धं भविष्यति

यतः ConnectX-8 ASIC GPU इत्यस्य अतीव समीपे अस्ति, अतः GPU तथा ConnectX-8 NIC इत्येतयोः मध्ये retimer इत्यस्य आवश्यकता नास्ति । HGX H100/B100/B200 इत्यस्य आवश्यकता अस्ति ।

तदतिरिक्तं यतः Grace CPU तथा Blackwell GPU इत्येतयोः मध्ये C2C अन्तरसंयोजनं नास्ति, Grace CPU पूर्णतया स्वतन्त्रे PCB इत्यत्र भविष्यति, यत् CPU मदरबोर्ड् अस्ति अस्मिन् मदरबोर्ड् मध्ये BMC संयोजकाः, CMOS बैटरी, MCIO संयोजकाः इत्यादयः सन्ति ।

प्रति GPU NVLink बैण्डविड्थ् प्रत्येकं दिशि 900GB/s भविष्यति, यत् GB200 NVL72/36x2 इत्यस्य समानम् अस्ति । प्रति-FLOP आधारेण, एतेन GPU-तः-GPU-पर्यन्तं बैण्डविड्थ् महत्त्वपूर्णतया वर्धते, येन MGX NVL36 इत्यस्मै कतिपयेषु कार्यभारेषु लाभः प्राप्यते ।

यतः केवलं स्विचस्य एकः स्तरः ३६ GPUs संयोजयति, अतः अ-अवरोधकसंजालप्रदानार्थं केवलं ९ NVSwitch ASICs आवश्यकाः सन्ति ।

तदतिरिक्तं प्रत्येकस्मिन् 1U स्विच् ट्रे केवलं एकः 28.8Tbit/s ASIC भवति इति कारणतः वायुशीतलीकरणं अतीव सुलभम् अस्ति । यथा, Quantum-2 QM9700 इव 25.6Tbit/s 1U स्विचः करिष्यति ।

पृष्ठभागजाले, यतः प्रतिगणनात्रे केवलं २ ८००G पोर्ट् सन्ति, अतः एतत् २-रेल् अनुकूलितं पङ्क्तिसमाप्तिजालस्य उपयोगं करिष्यति ।

प्रत्येकं 8 GB200A NVL36 रैकस्य कृते 2 Quantum-X800 QM3400 स्विचः भविष्यन्ति ।

प्रति GPU 700W इत्यस्य सन्दर्भे GB200A NVL36 इत्यस्य प्रत्येकस्य रैकस्य शक्ति-उपभोगः 40kW इत्यस्य परितः भवितुम् अर्हति, अर्थात् 2U-अन्तरिक्षे 4kW तापस्य अपव्ययः भवति

फलतः वायुशीतलनार्थं विशेषरूपेण निर्मिताः तापनिक्षेपकाः, उच्चगतिप्रशंसकाः च आवश्यकाः भविष्यन्ति ।

MGX GB200A NVL 36 इत्यस्य परिनियोजने चुनौतीः

यतः GB200A NVL36 पूर्णतया वायुशीतलनस्य उपरि निर्भरं भवति, तथा च 2U चेसिस् इत्यस्य अग्रभागे PCIe NIC इत्यस्य अतिरिक्तं समर्पितः PCIe स्विचः अपि अस्ति, यः तापप्रबन्धनचुनौत्यं महत्त्वपूर्णतया वर्धयिष्यति

अतः GB200A NVL36 इत्यस्मिन् बैकएण्ड् NIC इत्यस्य अनुकूलनं मूलतः असम्भवम् अस्ति ।

यतः यन्त्रशिक्षणनिर्भरताः बहवः x86 CPUs कृते संकलिताः अनुकूलिताः च सन्ति, तथा च Grace CPU तथा Blackwell GPU पृथक् PCBs इत्यत्र सन्ति, अतः संभावना अस्ति यत् x86+B200A NVL36 संस्करणम् अपि भविष्यति

परन्तु यद्यपि x86 CPU अधिकं शिखरप्रदर्शनं प्रदातुं शक्नोति तथापि विद्युत्-उपभोगः तदनुरूपं 100W अधिकं भविष्यति, अतः OEMs इत्यस्य ताप-प्रबन्धन-चुनौत्यं बहुधा वर्धयिष्यति

तदतिरिक्तं, Grace CPU इत्यस्य विक्रयं विचार्य, यदि NVIDIA x86 B200A NVL36 समाधानं प्रारभते चेदपि, ते ग्राहकानाम् GB200A NVL36 इत्यस्य चयनार्थं धक्कायिष्यन्ति।

अवश्यं GB200A NVL36 इत्यस्य अपि स्वकीयः विक्रयबिन्दुः अस्ति - प्रति रैक् 40kW वायु-शीतलन-प्रणाली ।

अन्ततः, अनेके ग्राहकाः प्रति रैक् प्रायः १२५ किलोवाट् (अथवा १३० किलोवाट् अधिकस्य कुलशक्ति-उपभोगयुक्तस्य ३६x२) कृते GB200 NVL72 इत्यस्य कृते आवश्यकं द्रवशीतलन-विद्युत्-अन्तर्निर्मितं न स्वीकुर्वन्ति

H100 इत्यस्य TDP 700W अस्ति तथा च सम्प्रति 4U-उच्चस्य 3DVC इत्यस्य उपयोगः भवति, यदा 1000W H200 इत्यस्य 6U-उच्चस्य 3DVC इत्यस्य उपयोगः भवति ।

तुलने MGX B200A NVL36 इत्यस्य TDP अपि 700W अस्ति किन्तु चेसिस् केवलं 2U अस्ति, अतः स्थानं तु अत्यन्तं सीमितम् अस्ति । अतः पंखस्य पृष्ठक्षेत्रं वर्धयितुं क्षैतिजरूपेण विस्तारितं बालकनीसदृशं पंखं आवश्यकं भविष्यति ।

बृहत्तरस्य हीटसिङ्कस्य आवश्यकतायाः अतिरिक्तं, प्रशंसकानां GB200 NVL72/36x2 2U कम्प्यूट् ट्रे अथवा HGX 8 GPU डिजाइनस्य अपेक्षया अधिकं सशक्तं वायुप्रवाहं अपि प्रदातुं आवश्यकता वर्तते

अनुमानानुसारं ४० किलोवाट् रैक् मध्ये कुलप्रणालीशक्तिः १५% तः १७% यावत् आन्तरिकचेसिस्-प्रशंसकानां कृते उपयुज्यते । तुलने HGX H100 इत्यस्य प्रशंसकः केवलं कुलप्रणालीशक्तिः ६% तः ८% यावत् उपभोगं करोति ।

MGX GB200A NVL36 इत्यस्य सम्यक् कार्यं कर्तुं प्रशंसकशक्तेः बृहत् परिमाणस्य कारणात् एतत् अत्यन्तं अकुशलं डिजाइनम् अस्ति ।

GB200A NVL64 किमर्थं रद्दं कुर्वन्तु

एनवीडिया इत्यनेन MGX GB200A NVL36 इत्यस्य अन्तिमरूपं करणात् पूर्वं ते वायुशीतलं NVL64 रैकं अपि डिजाइनं कर्तुं प्रयतन्ते स्म यत् 60kW इत्यस्य उपभोगं करोति तथा च NVLink इत्यस्य माध्यमेन पूर्णतया परस्परं सम्बद्धानि 64 GPUs वहति

परन्तु व्यापकस्य अभियांत्रिकीविश्लेषणस्य अनन्तरं सेमीएनालिसिस् इत्यनेन निर्धारितं यत् उत्पादः सम्भवः नास्ति, व्यावसायिकरूपेण उपलब्धः न भविष्यति इति ।

प्रस्ताविते NVL64 SKU इत्यस्मिन् 16 कम्प्यूट् ट्रे, 4 NVSwitch ट्रे च सन्ति । प्रत्येकं कम्प्यूट् ट्रे 2U भवति तथा च Grace CPU तथा चत्वारि 700W Blackwell GPUs सन्ति, यथा MGX GB200A NVL36 ।

मुख्यं परिवर्तनं NVSwitch ट्रेषु अस्ति - GB200 इत्यस्य 2 NVSwitches प्रति ट्रे 1 यावत् न्यूनीकर्तुं स्थाने Nvidia 4 ASIC स्विचेषु वर्धयितुं प्रयतते

स्पष्टतया, एतादृशं उच्चशक्ति-उपभोगं युक्तं विशालकायं केवलं वायुमार्गेण शीतलं कर्तुं पार्श्वे असम्भवं स्यात् । (NVIDIA प्रस्तावितं 60kW, SemiAnalysis अनुमानतः 70kW)

अस्य कृते सामान्यतया पृष्ठद्वारस्य तापविनिमयस्य उपयोगः आवश्यकः भवति, परन्तु एतेन वायुशीतलन-रैक-वास्तुकलानां बिन्दुः पराजितः भवति यतः अद्यापि द्रव-शीतलन-आपूर्ति-शृङ्खलायाः उपरि निर्भरता वर्तते तदतिरिक्तं, अस्य समाधानस्य अद्यापि अधिकांशदत्तांशकेन्द्रेषु शीतलनजलं पृष्ठद्वारस्य तापविनिमयं प्रति मार्गयितुं सुविधास्तरस्य परिवर्तनस्य आवश्यकता वर्तते ।

अन्यः अतीव कठिनः तापीयः विषयः अस्ति यत् NVSwitch ट्रे मध्ये 1U चेसिस् मध्ये चत्वारि 28.8Tbit/s ASIC स्विचः भविष्यन्ति, यत्र प्रायः 1500W शीतलनशक्तिः आवश्यकी भवति

व्यक्तिगतरूपेण दृष्ट्वा 1U चेसिस् मध्ये 1500W प्राप्तुं कठिनं न भवति । परन्तु यदा भवान् विचारयति यत् ASIC स्विचतः backplane connector यावत् Ultrapass उड्डयनताराः बहु वायुप्रवाहं अवरुद्धयन्ति तदा शीतलीकरणस्य आव्हानं महत्त्वपूर्णं भवति

वायुशीतलं MGX NVL रैकं अत्यन्तं शीघ्रं विपण्यं प्रति आनेतुं आवश्यकतां दृष्ट्वा एनवीडिया इत्यनेन डिजाइनस्य आरम्भात् षड्मासाभ्यन्तरे उत्पादस्य वितरणस्य प्रयासः कृतः परन्तु पूर्वमेव संसाधन-अवरोधितस्य उद्योगस्य कृते नूतनानां स्विचिंग्-पैलेट्-आपूर्ति-शृङ्खलानां च डिजाइनं अतीव कठिनम् अस्ति ।

GB200A NVL64 इत्यस्य अन्यः प्रमुखः विषयः अस्ति यत् प्रति रैक् 64 800G बैक-एण्ड् पोर्ट् सन्ति, परन्तु प्रत्येकं XDR Quantum-X800 Q3400 स्विच् 72 800G डाउनस्ट्रीम पोर्ट् वहति अन्येषु शब्देषु प्रत्येकं स्विचे १६ ८००G पोर्ट् रिक्ताः भविष्यन्ति ।

महता पृष्ठ-अन्त-स्विचेषु रिक्त-पोर्ट्-स्थापनेन संजाल-प्रदर्शने स्वामित्वस्य कुल-व्ययस्य च महत्त्वपूर्णः प्रभावः भवितुम् अर्हति यतोहि स्विच्-महत्त्वपूर्णं भवति, विशेषतः Quantum-X800 इत्यादिषु उच्च-पोर्ट-घनत्वयुक्तेषु मॉड्यूलर-स्विचेषु

तदतिरिक्तं, एकस्मिन् NVLink डोमेन् मध्ये 64 GPUs इत्यस्य उपयोगः आदर्शः नास्ति ।

उपरिष्टात् ६४ उत्तमः सङ्ख्या अस्ति यतः अस्य २, ४, ८, १६, ३२ च सामान्यगुणकाः सन्ति, येन भिन्न-भिन्न-समानान्तर-विन्यासानां कृते सिद्धः भवति ।

उदाहरणार्थं, टेन्सर समानान्तरता TP=8, विशेषज्ञसमान्तरता EP=8, अथवा TP=4, पूर्णतया साझाकृतदत्तांशसमानान्तरता FSDP=16 ।

दुर्भाग्येन हार्डवेयरस्य अविश्वसनीयतायाः कारणात् एनवीडिया प्रति एनवीएल रैक् न्यूनातिन्यूनं १ कम्प्यूट् ट्रे स्पेयररूपेण स्थापयितुं अनुशंसति येन जीपीयू अनुरक्षणकाले अफलाइन् गृहीत्वा उष्णस्पेयररूपेण उपयोक्तुं शक्यते

प्रति रैक् हॉट् स्पेयर इत्यस्मिन् न्यूनातिन्यूनं १ कम्प्यूट् ट्रे विना १ GPU विफलतायाः कारणेन अपि सम्पूर्णं रैक् महत्त्वपूर्णकालं यावत् सेवातः बहिः बाध्यं कर्तुं शक्नोति इदं तथैव अस्ति यत् कथं 8-GPU HGX H100 सर्वरे एकः GPU विफलता सर्वाणि 8 H100s सेवातः बहिः बाध्यं करिष्यति ।

न्यूनातिन्यूनम् एकं कम्प्यूट् ट्रे उष्णस्पेयररूपेण स्थापयित्वा प्रति रैक् केवलं 60 GPUs कार्यभारं सम्भालितुं शक्नुवन्ति इति अर्थः । एवं सति इदानीं उक्ताः लाभाः न सन्ति ।

NVL36×2 अथवा NVL72 72 GPUs इत्यनेन सुसज्जितम् अस्ति, यस्य अर्थः अस्ति यत् उपयोक्तारः न केवलं 2 कम्प्यूटिङ्ग् ट्रे इत्यस्य उपयोगं हॉट् स्पेयररूपेण कर्तुं शक्नुवन्ति, अपितु प्रत्येकस्मिन् रैक् इत्यत्र उपयोगाय 64 GPUs अपि उपलभ्यन्ते

GB200A NVL36 इत्यस्य उष्ण-स्टैण्डबाई-रूपेण 1 कम्प्यूटिंग्-ट्रे भवितुम् अर्हति अस्मिन् समये समानान्तर-समाधानस्य सामान्य-कारकाणां रूपेण 2, 4, 8, 16 च सन्ति ।

आपूर्तिशृङ्खलायां प्रभावः

सेमीएनालिसिसस्य अनुमानस्य अनुसारं GB200 NVL72/36x2 इत्यस्य प्रेषणं न्यूनीकृतं वा विलम्बं वा भविष्यति, तथा च B100 तथा B200 HGX इत्यस्य प्रेषणं महती न्यूनीकरिष्यते।

इदानीं २०२४ तमस्य वर्षस्य चतुर्थत्रिमासिकतः २०२५ तमस्य वर्षस्य प्रथमत्रिमासे यावत् हॉपरस्य प्रेषणं वर्धते ।

तदतिरिक्तं वर्षस्य उत्तरार्धे HGX Blackwell तथा GB200 NVL36x2 इत्यस्मात् MGX GB200A NVL36 इत्यस्मै GPU आदेशाः स्थानान्तरिताः भविष्यन्ति ।

एतेन सर्वेषां ओडीएम-घटक-आपूर्तिकानां प्रभावः भविष्यति यतः शिपमेण्ट्-राजस्व-योजनासु Q3 2024 तः Q2 2025 पर्यन्तं महत्त्वपूर्णः परिवर्तनः भविष्यति ।

सन्दर्भाः : १.

https://www.theinformation.com/articles/nvidias-नवीन-ai-चिप-विलम्बित-प्रभावित-माइक्रोसॉफ्ट-गूगल-मेटा?rc=epv9gi

https://www.semianalysis.com/p/nvidias-blackwell-पुनर्निर्मित-शिपमेंट