новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

23 августа IT House сообщила, что 21 августа Nvidia опубликовала сообщение в блоге, в котором представила модель искусственного интеллекта Mistral-NeMo-Minitron 8B с малым языком, которая обладает преимуществами высокой точности и высокой вычислительной эффективности и может использоваться для обработки данных с ускорением на графическом процессоре. центры, облако и запуск модели на рабочей станции.

В прошлом месяце NVIDIA и Mistral AI выпустили модель Mistral NeMo 12B с открытым исходным кодом. Основываясь на этом, NVIDIA снова выпустила меньшую модель Mistral-NeMo-Minitron 8B с общим числом 8 миллиардов параметров, которую можно запускать на рабочих станциях, оснащенных NVIDIA. Видеокарты RTX.

Nvidia заявила, что получила Mistral-NeMo-Minitron 8B путем обрезки по ширине (width-pruning) Mistral NeMo 12B и легкой переподготовки путем дистилляции знаний (knowledge distillation). Соответствующие результаты были опубликованы в статье «Компактные языковые модели посредством обрезки и знаний». Дистилляция" средняя.

Обрезка сжимает нейронную сеть за счет удаления весов модели, которые меньше всего способствуют точности. В ходе процесса «дистилляции» команда переобучила сокращенную модель на небольшом наборе данных, чтобы значительно повысить точность, которая была снижена в процессе сокращения.

Для своего размера Mistral-NeMo-Minitron 8B лидирует с большим отрывом по девяти популярным тестам языковых моделей. Эти тесты охватывают различные задачи, включая понимание языка, здравое рассуждение, математическое рассуждение, обобщение, кодирование и способность генерировать достоверные ответы. IT Home прилагает соответствующие результаты испытаний следующим образом: