소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

똑똑한 것들
작성자ZeR0
편집자 모 잉

Zhidongxi는 7월 24일 NVIDIA가 새로운 NVIDIA AI Foundry 서비스 및 NVIDIA NIM 추론 마이크로서비스 출시를 발표했다고 밝혔습니다. 새로 출시된 오픈 소스 모델인 Meta Llama 3.1 시리즈와 함께 글로벌 기업을 위한 생성 AI에 대한 강력한 지원을 제공할 것입니다.

Llama 3.1 대형 언어 모델에는 8B, 70B 및 405B의 세 가지 매개변수 크기가 있습니다. 모델은 16,000개 이상의 NVIDIA Tensor Core GPU에서 훈련되었으며 데이터 센터, 클라우드, NVIDIA RTX GPU가 있는 로컬 워크스테이션 또는 GeForce RTX GPU가 있는 PC에서 NVIDIA 가속 컴퓨팅 및 소프트웨어에 최적화되어 있습니다.

TSMC가 글로벌 칩 기업을 위한 파운드리인 것처럼 엔비디아도 엔터프라이즈급 AI 파운드리인 엔비디아 AI 파운드리(NVIDIA AI Foundry)를 구축했습니다.

NVIDIA 창립자 겸 CEO인 Jensen Huang은 다음과 같이 말했습니다. "Meta의 Llama 3.1 오픈 소스 모델은 글로벌 기업이 생성 AI를 채택하는 중요한 순간입니다. Llama 3.1은 고급 생성 AI 애플리케이션을 만드는 기업과 산업의 물결을 촉발할 것입니다. NVIDIA AI Foundry Llama 3.1은 프로세스 전반에 걸쳐 통합되었으며 기업이 맞춤형 Llama 슈퍼 모델을 구축하고 배포하는 데 도움이 될 수 있습니다."

NVIDIA DGX Cloud AI 플랫폼을 기반으로 하고 NVIDIA가 세계 최고의 퍼블릭 클라우드와 공동 설계한 NVIDIA AI Foundry는 맞춤형 슈퍼 모델을 신속하게 구축하는 데 사용할 수 있는 엔드투엔드 서비스를 제공하여 기업에 대규모 컴퓨팅을 제공하는 것을 목표로 합니다. AI 요구 사항이 변경됨에 따라 컴퓨팅 리소스를 쉽게 확장할 수 있습니다.

Meta 창립자이자 CEO인 Mark Zuckerberg는 “NVIDIA AI Foundry를 통해 기업은 원하는 가장 진보된 AI 서비스를 쉽게 생성 및 맞춤화하고 NVIDIA NIM을 통해 배포할 수 있습니다.”라고 말했습니다.

도메인별 모델을 생성하기 위해 더 많은 교육 데이터가 필요한 기업은 자체 데이터는 물론 Llama 3.1 405B 및 NVIDIA Nemotron Reward 모델에서 생성된 합성 데이터를 사용하여 이러한 슈퍼 모델을 교육하여 정확도를 높일 수 있습니다. 자체 훈련 데이터가 있는 고객은 NVIDIA NeMo를 사용하여 Llama 3.1 모델을 맞춤화하고 DAPT(도메인 적응형 사전 훈련)를 통해 모델 정확도를 더욱 향상시킬 수 있습니다.

NVIDIA와 Meta는 또한 개발자가 생성 AI 애플리케이션을 위한 더 작은 맞춤형 Llama 3.1 모델을 만들 수 있도록 Llama 3.1의 증류 방법을 제공하기 위해 협력하고 있습니다. 이를 통해 기업은 AI 워크스테이션 및 노트북과 같이 더욱 가속화된 인프라에서 Llama 기반 AI 애플리케이션을 실행할 수 있습니다.

맞춤형 모델이 생성되면 기업은 NVIDIA NIM 추론 마이크로서비스를 구축하여 선호하는 클라우드 플랫폼과 글로벌 서버 제조업체의 NVIDIA 인증 시스템에서 동급 최고의 기계 학습 작업(MLOps)과 인공 지능을 사용할 수 있습니다. (AIOps) 플랫폼은 프로덕션 환경에서 이러한 모델을 실행합니다.

NIM 마이크로서비스는 NIM 없이 추론을 실행하는 것보다 최대 2.5배 더 높은 처리량으로 Llama 3.1 모델을 프로덕션에 배포하는 데 도움이 됩니다.

ai.nvidia.com에서 Llama 3.1 모델용 NVIDIA NIM 추론 마이크로서비스에 대해 알아보고 프로덕션 등급 AI에 Llama 3.1 모델 배포를 가속화하세요.

Llama 3.1 NIM 마이크로서비스와 새로운 NVIDIA NeMo Retriever NIM 마이크로서비스를 결합하면 AI 부조종사, 보조자, 디지털 휴먼 아바타를 위한 고급 검색 워크플로우를 구축할 수 있습니다.

새로운 NVIDIA NeMo Retriever NIM 추론 마이크로서비스를 사용하여 RAG(Retrieval Enhanced Generation)를 구현함으로써 기업은 맞춤형 Llama 슈퍼 모델과 Llama NIM 마이크로서비스를 프로덕션에 배포하여 응답 정확도를 높일 수 있습니다.

NeMo Retriever NIM 마이크로서비스는 Llama 3.1 405B용 NVIDIA NIM 추론 마이크로서비스와 결합되어 RAG 워크플로우의 공개 및 상업용 텍스트 질문 답변에 매우 높은 검색 정확도를 제공합니다.

NVIDIA AI Foundry는 NVIDIA 소프트웨어, 인프라 및 전문 지식을 NVIDIA AI 생태계의 개방형 커뮤니티 모델, 기술 및 지원과 결합합니다. NVIDIA AI Enterprise 전문가와 글로벌 시스템 통합업체 파트너는 AI Foundry 고객과 협력하여 개발부터 배포까지 전체 프로세스를 가속화합니다.

전문 서비스 회사인 Accenture는 NVIDIA AI Foundry를 사용하여 Accenture AI Refinery 프레임워크를 사용하여 문화, 언어 및 산업을 반영하기 위해 배포하는 생성 AI 애플리케이션을 원하는 클라이언트와 자체적으로 맞춤형 Llama 3.1 모델을 만든 최초의 기업입니다.

의료, 에너지, 금융 서비스, 소매, 운송, 통신 및 기타 산업 분야의 기업들은 이미 Llama용 NVIDIA NIM 마이크로서비스를 사용하고 있습니다. Llama 3.1에 새로운 NIM 마이크로서비스를 사용하는 최초의 회사로는 Aramco, AT&T, Uber 등이 있습니다.

엔터프라이즈, 데이터 및 인프라 플랫폼을 제공하는 수백 개의 NVIDIA NIM 파트너는 이제 이러한 새로운 마이크로서비스를 AI 솔루션에 통합하여 5백만 명 이상의 개발자와 19,000개 스타트업으로 구성된 NVIDIA 커뮤니티에 생성적 AI를 지원합니다.

Llama 3.1 NIM 및 NeMo Retriever NIM 마이크로서비스에 대한 프로덕션 지원은 NVIDIA AI Enterprise를 통해 제공됩니다. NVIDIA 개발자 프로그램 회원은 곧 NIM 마이크로서비스에 무료로 액세스하여 선호하는 인프라에서 연구, 개발 및 테스트를 수행할 수 있게 됩니다.