소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

nvidia의 "gpu 페스티벌"은 끝날까요?

2022년 11월 30일 미국 open ai의 chatgpt 출시 이후 제너레이티브 ai(인공지능)가 크게 열풍을 일으키며 ai 반도체로 엔비디아의 gpu가 인기를 끌게 됐다. 하지만 gpu 생산에는 두 가지 병목 현상이 있다. tsmc의 중급 프로세스와 dram을 적층한 고대역폭 메모리(hbm)로 인해 전 세계적으로 gpu 부족 현상이 발생하는 것”이라고 말했다. tsmc?”

이들 gpu 중 'h100'은 가격이 4만달러까지 치솟을 정도로 수요가 특히 높았으며, 소위 엔비디아 'gpu 페스티벌'이 촉발됐다.

이런 상황에서 tsmc는 중간공정 인터포저 생산능력을 2배로 늘렸고, sk하이닉스 등 d램 제조사들은 hbm 생산량을 늘려 'h100' 리드타임을 52주에서 20주로 단축했다.

그렇다면 엔비디아의 'gpu 페스티벌'은 끝나게 될까요?

그래서 이번 글에서는 nvidia의 "gpu day"가 끝나는지에 대해 논의해 보겠습니다. 먼저 결론부터 말씀드리자면, 2024년에도 chatgpt급 ai 개발 및 운영에 필요한 하이엔드 ai 서버(정의는 추후 설명)의 3.9%만이 출하될 것으로 예상됩니다. 따라서 구글, 아마존, 마이크로소프트 등 클라우드 서비스 제공업체(csp)의 요구 사항을 전혀 충족할 수 없는 것으로 보인다. 요컨대 아직까지 nvidia의 "gpu 페스티벌"은 시작일 뿐이며 포괄적인 생성 ai 붐이 다가오고 있습니다.

다음으로 nvidia gpu의 두 가지 주요 병목 현상을 간략하게 살펴보겠습니다.

두 개의 nvidia gpu 병목 현상

엔비디아 gpu 생산에서는 파운드리 tsmc가 전·중·후 공정을 모두 담당한다. 여기서 중간 공정이란 gpu, cpu, hbm 등의 칩을 별도로 제작해 12인치 실리콘 웨이퍼를 잘라낸 정사각형 기판 위에 올려놓는 공정을 말한다. 이 기판을 실리콘 인터포저라고 합니다(그림 1).

그림 1 nvidia gpu와 같이 2.5d에서 3d로 떠오르는 중간 프로세스(출처: tadashi kamewada)

또한, tsmc가 개발한 nvidia gpu 패키지를 cowos(chip on wafer on substrate)라고 부르는데, 두 가지 병목 현상은 실리콘 인터포저 용량과 hbm입니다(그림 2). 상황은 다음과 같습니다.

그림 2 cowos 구조와 nvidia gpu의 두 가지 병목 현상(출처: wikichip)

cowos는 2011년에 개발되었으나 이후 gpu 성능이 향상됨에 따라 gpu 칩의 크기도 지속적으로 증가하였고, gpu에 탑재되는 hbm의 수도 증가하였다(그림 3).. 이에 따라 실리콘 인터포저의 크기는 매년 커지고 있는 반면, 단일 웨이퍼에 사용 가능한 인터포저의 수는 반비례로 감소하고 있다.

그림 3 세대별 인터포저 면적 및 hbm 개수 증가 (출처: kc yee(tsmc))

또한 gpu에 탑재되는 hbm의 개수도 늘어나고, hbm 내부에 쌓이는 dram 칩의 개수도 늘어납니다. 또한 dram은 2년마다 소형화되고, 성능 향상을 위해 hbm 표준이 2년마다 업데이트됩니다. 따라서 최첨단 hbm은 공급이 부족합니다.

이 시나리오에 따르면 tsmc는 실리콘 인터포저 생산 능력을 2023년 여름 월 15,000장에서 올해 여름 30,000장 이상으로 두 배로 늘릴 예정입니다. 또 삼성전자와 마이크론테크놀로지가 엔비디아 인증을 획득해 sk하이닉스가 독점하던 첨단 hbm 공급에 나섰다.

이에 따라 수요가 가장 많은 엔비디아 h100의 배송기간이 52주에서 20주로 대폭 단축됐다. 그렇다면 그 결과 ai 서버 출하량은 얼마나 늘었을까?

두 가지 유형의 ai 서버 정의

digitimes research에서 발표한 "global annual server shipments, 2023-2024"(servers report database, 2024)에 따르면 ai 서버에는 두 가지 유형이 있습니다.

2개 이상의 ai 가속기를 탑재했지만 hbm은 탑재하지 않은 시스템을 '범용 ai 서버'라고 합니다.

최소 4개의 hbm 기반 ai 가속기를 갖춘 시스템을 "고급 ai 서버"라고 합니다.

여기서 ai 가속기는 ai 애플리케이션, 특히 신경망과 머신러닝을 가속화하기 위해 설계된 특수 하드웨어를 의미하며, 대표적인 예로 엔비디아(nvidia)의 gpu가 있다. 또한, chatgpt 수준의 생성 ai 개발 및 운영에는 범용 ai 서버보다는 고성능 ai 서버가 대거 필요하다.

그렇다면 일반 ai 서버와 고급 ai 서버의 출하량은 얼마나 될까?

일반 ai 서버 및 고급 ai 서버 출하량

그림 4는 2022년부터 2023년까지 일반 ai 서버와 고급 ai 서버의 출하량을 보여준다. 일반 ai 서버 출하량은 2022년 34만4천대, 2023년 47만대, 2024년 72만5천대에 이를 것으로 예상된다.

그림 4 일반 ai 서버 및 고급 ai 서버 출하량(2022~2024) (출처: digitimes research)

동시에 chatgpt급 생성 ai 개발 및 운영에 필요한 하이엔드 ai 서버는 2022년 3만4천대, 2023년 20만대, 2024년 56만4천대를 출하할 것으로 예상된다.

그렇다면 고급 ai 서버의 출하량이 미국 csp의 요구를 충족할 수 있을까요?

그림 5는 서버, 일반 ai 서버, 고급 ai 서버의 출하량을 보여준다. 이 도표를 그려서 보다가 "고급 ai서버가 이만큼 출하되고 있는 건가?"라는 생각이 들었습니다. 는 여전히 고급 인공 지능 서버이며 출하량이 매우 적습니다.

그림 5 서버, 일반 ai 서버, 고급 ai 서버 출하량

출처 : mic, digitimes 기준으로 작성

chatgpt 수준의 생성 ai를 개발하고 실행하려면 얼마나 많은 고급 ai 서버가 필요한지 살펴보면서 더욱 실망했습니다.

chatgpt 수준에서 ai를 생성하려면 고급 ai 서버가 필요합니다.

chatgpt의 개발 및 운영에는 30,000대의 nvidia dgx h100 고급 ai 서버가 필요한 것으로 보고되었습니다(그림 6). 이 3만 단위의 숫자를 보고 나는 현기증을 느꼈다.

그림 6 chatgpt를 실행하려면 몇 개의 고급 ai 서버가 필요합니까? (출처: hpc 홈페이지)

그런데 'nvidia dgx h100'에는 'h100' 칩이 8개 탑재됐고, 칩 하나당 가격이 4만달러까지 치솟아 전체 시스템 가격이 46만달러에 이르렀다. 즉, chatgpt 수준의 ai를 생성하려면 30,000개 x $460,000 = 138억 달러(1달러 기준 약 2조 엔 = 145엔!)의 투자가 필요합니다.

세상은 생성적 ai 시스템으로 가득 차 있다고 생각합니다. 그런데 chatgpt와 같은 생성적 ai가 실제로 얼마나 많이 구축되었거나 구축될 예정인가요? (그림 7)

그림 7 서버 출하량, 고급 ai 서버 출하량, chatgpt 수준으로 생성된 ai 시스템 수 (출처: mic 및 digitimes)

2022년 하이엔드 ai 서버 출하량이 34,000대가 되기 때문에 chatgpt 수준 ai 시스템은 하나만 구축할 수 있다(이것이 chatgpt). 이듬해인 2023년에는 하이엔드 ai 서버 출하량이 20만대에 달해 6~7개의 chatgpt급 ai 시스템을 구축할 수 있게 된다. 2024년에는 하이엔드 ai 서버 56만4000대가 출하될 예정이어서 챗gpt급 ai 시스템을 18~19대 구축이 가능하다.

하지만 위 추정은 하이엔드 ai 서버 'nvidia dgx h100' 3만 대를 이용해 chatgpt 수준의 ai를 구축할 수 있다고 가정한 것이다.그러나 ai 세대가 더욱 복잡해질 가능성이 높으므로 이 경우에는 30,000개 이상의 nvidia dgx h100이 필요할 수 있습니다. 모든 것을 고려해 볼 때, 미국 통신 서비스 제공업체는 현재 고급 ai 서버 출하량에 만족할 것 같지 않습니다.

이제 각 최종 사용자(예: 미국의 csp)가 얼마나 많은 고급 ai 서버를 보유하고 있는지 살펴보겠습니다.

최종 사용자를 위한 고급 ai 서버 수

그림 8은 최종 사용자별 고급 ai 서버 수를 보여줍니다. 2023년에는 openai를 소유한 마이크로소프트가 6만3000대로 가장 많은 하이엔드 ai 서버를 보유하게 되지만, 2024년에는 구글이 마이크로소프트를 앞지르며 최다 하이엔드 ai 서버를 보유하게 된다.

그림 8 최종 사용자별 고급 인공 지능 서버(2023~2024)(출처: digitimes research)

2024년 상위 5위는 구글로 16만2천대(5시스템)로 1위, 마이크로소프트가 9만대(3시스템)로 2위, 슈퍼마이크로가 6만8천대(2시스템)로 3위, 아마존(6만7천대)이 4위를 차지했다. 2 시스템), meta가 46,000유닛(1 시스템)으로 5위를 차지했습니다(괄호 안의 숫자는 chatgpt 클래스 생성 ai가 구축할 수 있는 시스템 수). 미국 상위 5대 태양열발전회사가 약 80%의 점유율을 독점하고 있는 것을 알 수 있다.

다음으로 ai 가속기의 하이엔드 ai 서버 출하량을 살펴보겠습니다(그림 9). 예상대로 nvidia의 gpu는 ai 가속기에 가장 많이 사용되어 2024년에는 336,000개에 달합니다. 그러나 놀랍게도 두 번째로 인기 있는 회사는 amd가 아니라 google입니다.

그림 9 ai 가속기별 하이엔드 ai 서버(2023~2024) (출처: digitimes research)

google은 ai 가속기로 자체 tpu(tensor processor unit)를 개발했습니다. 2024년까지 이 tpu를 탑재한 고급 ai 서버의 수는 138,000대에 이를 것입니다. 그림 8을 통해 google은 2024년까지 162,000개의 고급 ai 서버를 보유하게 될 것임을 알 수 있습니다. 따라서 138,000대에는 google의 자체 tpu가 탑재되고, 나머지 24,000대에는 nvidia의 gpu가 탑재될 것으로 예상됩니다. 즉, 엔비디아에게 구글은 고객이자 만만치 않은 적이라는 뜻이다.

또 2024년 출하량을 보면 3위인 amd가 4만5000대, 뒤를 이어 4위인 아마존이 4만대를 기록하고 있다. amazon은 또한 인공 지능 가속기로 aws trainium을 개발하고 있습니다. 더 기다리면 amd가 amazon을 추월할 수도 있습니다.

요약하자면, nvidia는 현재 ai 가속기 출하량이 가장 많지만 google과 amazon이 강력한 경쟁자가 되고 있습니다. nvidia의 경쟁자는 프로세서 제조업체인 amd(물론 멸종 위기에 처한 intel은 아님)가 아니라 미국 csp인 google과 amazon입니다.

본격적인 생성 ai 붐이 온다

지금까지의 모든 내용을 요약해 보겠습니다. digitimes research의 보고서에 따르면 chatgpt 수준의 생성 ai를 개발하고 실행할 수 있는 고급 ai 서버의 출하량은 2024년까지 전체 서버의 3.9%에 불과할 것으로 예상됩니다. 이 출하량은 csp의 요구를 충족할 수 없는 것으로 여겨집니다.

즉, 2023년부터 2024년까지 진행되는 엔비디아의 'gpu 페스티벌'은 시작에 불과합니다. 이에 따라 본격적인 생성 ai 붐이 도래할 가능성이 높다. 아래에서 기본 사항을 보여드리겠습니다.

그림 10은 반도체산업협회(sia)에서 발표한 애플리케이션별 반도체 시장과 향후 전망을 보여준다. sia 예측에 따르면 세계 반도체 시장은 2030년 1조 달러를 넘어설 것으로 예상된다.

그림 10 애플리케이션별 반도체 출하량 전망 (출처: sia 블로그)

2030년까지 가장 큰 시장은 컴퓨팅과 데이터 스토리지가 될 것입니다. 여기에는 pc와 서버(물론 고급 ai 서버도 포함)가 포함되지만, pc 출하량이 크게 증가할 가능성은 낮아 서버가 대부분을 차지할 것으로 보인다.

유선통신은 데이터센터에 사용되는 반도체를 말한다. 이는 2030년까지 컴퓨팅 및 데이터 스토리지(3,300억 달러) + 유선 통신(600억 달러) = 총 3,900억 달러가 데이터센터용 반도체(pc 포함)가 되어 세계 최대 시장이 될 것임을 의미한다.

또 하나 주목해야 할 것은 데이터센터 시장과 전망이다.그림 11과 같습니다. 2022년 chatgpt 출시 이후 데이터센터 시장은 꾸준히 성장할 것으로 예상된다. 데이터센터는 네트워크 인프라, 서버, 스토리지라는 세 가지 요소로 구성되며, 서버와 스토리지는 각각 2023년부터 2029년까지 약 두 배로 늘어날 것으로 예상된다.

그림 11 데이터센터 시장 전망(포괄적 생성 ai 붐은 아직 도래하지 않음) (출처: statista market insights 데이터 기반 저자)

이로써 서버 반도체(하이엔드 ai 서버 포함)가 세계 시장에서 가장 큰 점유율을 차지하게 되고, 데이터센터 시장도 확대될 전망이다.

마지막으로 한 번 더 반복하세요.아직까지 엔비디아의 'gpu 페스티벌'은 연휴 전 행사일 뿐이다. 본격적인 생성 ai 붐이 다가오고 있습니다.