новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

it house news 15 сентября, технологическое издание marktechpost опубликовало сообщение в блоге вчера (14 сентября):сообщается, что nvidia выложила в открытый исходный код модель искусственного интеллекта nemotron-mini-4b-instruct, ознаменовав новую главу инноваций компании в области искусственного интеллекта.

большой потенциал для небольших языковых моделей

модель искусственного интеллекта nemotron-mini-4b-instruct предназначена для таких задач, как ролевые игры, генерация с расширенным поиском (rag) и вызов функций. это модель малого языка (slm), которая дистиллирована и оптимизирована более крупным nemotron. -4 15б получим.

nvidia использует передовые технологии искусственного интеллекта, такие как обрезка, квантование и дистилляция, чтобы сделать модель меньше и эффективнее, особенно подходящей для развертывания на стороне устройства.

такое уменьшение размера не влияет на производительность модели в конкретных сценариях, таких как ролевые игры и вызов функций, что делает ее практичным выбором для приложений, требующих быстрого реагирования по требованию.

эта модель точно настроена на модели minitron-4b-base и использует технологию сжатия llm. одной из наиболее важных особенностей является то, что она может обрабатывать 4096 токенов контекстного окна и генерировать более длинные и связные ответы.

архитектура и технические характеристики

nemotron-mini-4b-instruct известен своей мощной архитектурой, обеспечивающей эффективность и масштабируемость.

размер встраивания модели (который определяет размерность преобразованного вектора) равен 3072, многоголовое внимание — 32, а промежуточное измерение mlp — 9216. при обработке крупномасштабных наборов входных данных он по-прежнему может реагировать с высокой точностью и актуальность.

кроме того, модель также использует технологии group query attention (gqa) и rotated position embedding (rope) для дальнейшего улучшения ее способности обрабатывать и понимать текст.

эта модель основана на архитектуре декодера transformer и представляет собой авторегрессионную языковую модель. это означает, что он генерирует каждый токен на основе предыдущих токенов, что делает его идеальным для таких задач, как создание диалога, где согласованный поток диалога имеет решающее значение.

ролевые игры и приложения для вызова функций

nemotron-mini-4b-instruct отлично подходит для ролевых игр. благодаря огромным возможностям разметки и оптимизированным возможностям генерации языка его можно встроить в виртуальных помощников, видеоигры или любую другую интерактивную среду, где искусственный интеллект необходим для генерации критически важных ответов.

nvidia предоставляет специальный формат подсказок, чтобы гарантировать, что модель выдает наилучшие результаты в этих сценариях, особенно в одно- или многоходовых диалогах.

модель также оптимизирована для вызовов функций, что становится все более важным в средах, где системы искусственного интеллекта должны взаимодействовать с api или другими автоматизированными процессами. способность генерировать точные функциональные ответы делает эту модель хорошо подходящей для сценариев rag, где модели необходимо создавать текст, а также извлекать и предоставлять информацию из базы знаний.