2024-08-23
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
IT House는 엔비디아가 8월 21일 블로그 게시물을 통해 높은 정확도와 컴퓨팅 효율성이 장점이며 GPU 가속 데이터에 사용할 수 있는 Mistral-NeMo-Minitron 8B 소형 언어 AI 모델을 출시했다고 23일 보도했습니다. 센터, 클라우드 및 워크스테이션에서 모델을 실행합니다.
NVIDIA와 Mistral AI는 지난달 오픈소스 Mistral NeMo 12B 모델을 출시했습니다. 이를 기반으로 NVIDIA는 NVIDIA가 탑재된 워크스테이션에서 실행할 수 있는 총 80억 개의 매개변수를 갖춘 더 작은 Mistral-NeMo-Minitron 8B 모델을 다시 한번 출시했습니다. RTX 그래픽 카드.
엔비디아는 폭 가지치기(width-pruning) 미스트랄 NeMo 12B와 지식 증류(knowledge distillation)를 통한 가벼운 재훈련을 통해 미스트랄-네모-미니트론 8B를 획득했다고 밝혔다. 관련 결과는 "Compact Language Models via Pruning and Knowledge"라는 논문에 게재됐다. 증류' 중간.
가지치기는 정확도에 가장 적게 기여하는 모델 가중치를 제거하여 신경망을 축소합니다. "증류" 프로세스 중에 팀은 정리 프로세스로 인해 감소된 정확도를 크게 향상시키기 위해 작은 데이터 세트에서 정리된 모델을 재교육했습니다.
크기 면에서 Mistral-NeMo-Minitron 8B는 언어 모델에 대한 9가지 인기 벤치마크에서 큰 차이로 앞서고 있습니다. 이러한 벤치마크는 언어 이해, 상식적 추론, 수학적 추론, 요약, 코딩, 실제 답변 생성 능력 등 다양한 작업을 다룹니다. IT Home에서는 관련 테스트 결과를 다음과 같이 첨부합니다.
