소식

NVIDIA, Blackwell GB200 슈퍼 칩 시스템 출시: AI 추론 성능이 1.5배 향상

2024-08-26

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

이전에는 차세대 NVIDIA Blackwell 아키텍처 GPU 공급이 지연된 것으로 알려졌지만 관계자는 이를 인정하거나 부인하지 않고 대신 차세대 GB200 GPU+GPU super를 기반으로 한 서버 시스템을 꺼냈습니다. 칩을 사용하여 시연했습니다.

GB200 Grace Blackwell에는 B200 GPU 2개와 Grace CPU 1개가 포함되어 있으며 총 전력 소비량은 최대 2700W입니다.

이 중 B200은 2040억 개의 트랜지스터, 8096비트 192GB HBM3E 메모리(대역폭 8TB/s), 성능은 9PFlops(초당 9조회), 소비전력은 최초로 1000W를 달성했다.


엔비디아가 전시한 서버는 파란색과 구리색 케이블, 엄청나게 두꺼운 직경의 구리관, 초대형 방열판 등이 마치 예술 작품처럼 거대하다.

NVIDIA는 구체적인 구성을 공개하지 않았으며 NVSwitch가 있는 버전과 없는 버전, 총 대역폭이 최대 14.4TB/s인 두 가지 버전으로 나뉜다는 점만 공개했습니다.

성능 면에서는 단 하나의 데이터만 주어진다. 라마 3.1 700억 매개변수 대형 모델의 AI 추론 성능이 H200에 비해 1.5배 완전 향상됐다.

열 방출은 어떻게 해야 하나요? 엔비디아(NVIDIA)가 전력 소비를 28%까지 줄일 수 있는 온수 냉각 시스템을 개발 중이라고 밝혔습니다.


그러나 NVIDIA는 올해 4분기로 추정되는 Blackwell GPU 서버의 배송 시기를 아직 밝히지 않았습니다.

NVIDIA는 다가오는 Hot Chip 2024 컨퍼런스에서 Blackwell GPU에 대해 자세히 설명하고 향후 Vera CPU 및 Rubin GPU에 대한 소식을 추가로 공개할 예정입니다.