Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Редакция «Машинное сердце»

Только сейчас официально вышла долгожданная Лама 3.1!

Meta официально заявила, что «открытый исходный код ведет новую эру».

В официальном блоге Meta говорится: «До сегодняшнего дня модели больших языков с открытым исходным кодом в основном отставали от закрытых моделей с точки зрения функциональности и производительности. Теперь мы вступаем в новую эру, возглавляемую открытым исходным кодом. Мы публично выпустили Meta Llama. 3.1 405B Мы считаем, что это самая крупная и мощная базовая модель с открытым исходным кодом в мире: на сегодняшний день все версии Llama скачаны более 300 миллионов раз, и мы только начинаем».

Основатель и генеральный директор Meta Цукерберг также лично написал длинную статью «ИИ с открытым исходным кодом — это путь вперед», объясняя, почему открытый исходный код — это хорошо для всех разработчиков, Meta и всего мира.

Основные моменты этого выпуска включают в себя:

• В последней серии моделей длина контекста увеличена до 128 КБ, добавлена ​​поддержка восьми языков и включена лучшая модель с открытым исходным кодом Llama 3.1 405B;
• Llama 3.1 405B находится в отдельной лиге, и Meta официально заявляет, что он находится на одном уровне с лучшими моделями с закрытым исходным кодом;
• Этот выпуск также предоставляет больше компонентов (включая эталонные системы), которые можно использовать с моделью для построения Llama как системы;
• Пользователи могут испытать Llama 3.1 405B через WhatsApp и Meta.ai.

Адрес: https://llama.meta.com/

Пользователи сети могут скачать его и опробовать.

Лама 3.1 Введение

Llama 3.1 405B — первая общедоступная модель, которая конкурирует с лучшими моделями искусственного интеллекта с точки зрения здравого смысла, манипулируемости, математики, использования инструментов и многоязычного перевода.

Мета утверждает, что последнее поколение Llama вдохновит на создание новых приложений и парадигм моделирования, включая использование генерации синтетических данных для повышения и обучения небольших моделей, а также дистилляцию моделей — возможность, никогда ранее не достигаемая в пространстве с открытым исходным кодом.

В то же время Meta также выпустила обновленные версии моделей 8B и 70B, которые поддерживают несколько языков, имеют длину контекста 128 КБ и более сильные возможности рассуждения. Последние модели поддерживают расширенные варианты использования, такие как обобщение длинных текстов, многоязычные диалоговые агенты и помощники по программированию.

Например, Llama 3.1 может переводить истории на испанский язык:

Когда пользователь спрашивает: «Есть 3 рубашки, 5 пар шорт и 1 платье. Предположим, вы собираетесь путешествовать на 10 дней. Достаточно ли подготовлена ​​одежда?», модель может быстро рассуждать.

Длинный контекст: для загруженных документов Llama 3.1 может анализировать и суммировать большие документы, содержащие до 8 тысяч токенов.

Coding Assistant, по требованию пользователя, может быстро писать код:

Кроме того, разработчик Llama 3.1 405B также написал в Твиттере «спойлер», заявив, что разработка модели, объединяющей голосовые и визуальные возможности, такой как GPT-4o, все еще находится в стадии разработки.

Meta также внесла изменения в лицензию с открытым исходным кодом, чтобы позволить разработчикам использовать результаты моделей Llama (включая 405B) для улучшения других моделей. Кроме того, в соответствии со своими обязательствами по открытию исходного кода, начиная с сегодняшнего дня, Meta делает эти модели доступными для загрузки сообществу на сайтах llama.meta.com и Hugging Face.

ссылка для скачивания:

• https://huggingface.co/meta-llama
• https://llama.meta.com/

Оценка модели

Мета оценивается на основе более чем 150 эталонных наборов данных в дополнение к обширной человеческой оценке.

Результаты экспериментов показывают, что флагманская модель Llama 3.1 405B конкурирует с ведущими базовыми моделями, включая GPT-4, GPT-4o и Claude 3.5 Sonnet, по ряду задач. Кроме того, небольшие модели 8B и 70B конкурентоспособны с моделями с закрытым и открытым исходным кодом с аналогичным количеством параметров.

Модельная архитектура

Поскольку на сегодняшний день это крупнейшая модель Meta, обучение Llama 3.1 405B с использованием более 15 триллионов токенов является серьезной проблемой. Чтобы обеспечить обучение в таком масштабе, Meta оптимизировала весь стек обучения и провела обучение на более чем 16 000 графических процессорах H100, что сделало эту модель первой моделью Llama, обученной в таком масштабе.

Чтобы решить эту проблему, Meta приняла следующие варианты дизайна, сосредоточив внимание на том, чтобы процесс разработки модели был масштабируемым и простым.

• Вместо гибридной экспертной модели была выбрана стандартная архитектура модели трансформера декодера с небольшими изменениями, чтобы максимизировать стабильность обучения.
• Используется процедура пост-итерационного обучения, использующая контролируемую точную настройку и прямую оптимизацию предпочтений на каждом этапе. Это позволяет Meta создавать синтетические данные высочайшего качества для каждого раунда и улучшать производительность каждой функции.

По сравнению с предыдущими версиями Llama, Meta улучшила количество и качество данных, используемых для предварительного и последующего обучения, например, разработала более тщательный конвейер предварительной обработки и управления данными предварительного обучения, а также разработала более строгий контроль качества. и управление данными после обучения.

Как и ожидалось в соответствии с законами масштабирования языковых моделей, новая флагманская модель Meta превзошла по производительности более мелкие модели, обученные с использованием той же процедуры. Meta также использует модель параметров 405B для улучшения качества небольших моделей после обучения.

Чтобы поддерживать крупномасштабный вывод модели 405B, Meta квантовала модель с 16 бит (BF16) до 8 бит (FP8), что эффективно снизило необходимые вычислительные требования и позволило модели работать на одном серверном узле.

Настройки команд и чата

Llama 3.1 405B стремится повысить полезность, качество и подробное следование моделям в соответствии с инструкциями пользователя, обеспечивая при этом высокий уровень безопасности.

На этапе после обучения исследовательская группа построила окончательную модель чата, выполнив несколько этапов согласования на основе предварительно обученной модели. Каждый раунд включает контролируемую точную настройку (SFT), отбраковочную выборку (RS) и оптимизацию прямых предпочтений (DPO).

Исследовательская группа использует генерацию синтетических данных для создания подавляющего большинства примеров SFT с несколькими итерациями для получения синтетических данных все более высокого качества по всем функциям. Кроме того, исследовательская группа использовала несколько методов обработки данных для фильтрации этих синтетических данных до высочайшего качества и точной настройки объема данных с учетом функциональной масштабируемости.

Лама Система

Модель Llama всегда существовала как часть системы искусственного интеллекта и может координировать работу нескольких компонентов, включая вызов внешних инструментов. Meta призвана выйти за рамки базовой модели и предоставить разработчикам гибкость в проектировании и создании пользовательских продуктов, соответствующих их видению.

Чтобы ответственно разрабатывать искусственный интеллект за пределами уровня модели, Meta выпустила полную справочную систему, которая включает в себя несколько примеров приложений, а также новые компоненты, такие как Llama Guard 3, многоязычная модель безопасности, и Prompt Guard, фильтр быстрого внедрения). Эти примеры приложений имеют открытый исходный код и могут быть созданы сообществом разработчиков ПО с открытым исходным кодом.

Чтобы более широко сотрудничать с промышленностью, стартапами и сообществом открытого исходного кода, чтобы помочь лучше определить интерфейсы компонентов, Meta опубликовала запрос на комментарий к «Llama Stack» на GitHub. Llama Stack — это набор стандартизированных интерфейсов для создания канонических компонентов инструментальной цепочки (тонкая настройка, генерация синтетических данных) и агентских приложений. Это помогает легче достичь совместимости.

В отличие от закрытых моделей, гири моделей Llama доступны для скачивания. Разработчики могут полностью настроить модель в соответствии со своими потребностями и приложениями, обучаться на новых наборах данных и выполнять дополнительную тонкую настройку.

Разработано с использованием Llama 3.1 405B.

Для обычных разработчиков развертывание такой масштабной модели, как 405B, несомненно, представляет собой сложную задачу, требующую большого количества вычислительных ресурсов и профессиональных навыков. Общаясь с сообществом разработчиков, Мета поняла, что разработка генеративного ИИ — это больше, чем просто ввод подсказок в модель. Они ожидают, что все разработчики полностью используют потенциал Llama 3.1 405B в следующих областях:

• Вывод в реальном времени и пакетный анализ
• контролируемая тонкая настройка
• Тестируйте и оценивайте производительность модели в конкретных приложениях.
• Постоянное предварительное обучение
• Поисковая дополненная генерация (RAG)
• вызов функции
• Генерация синтетических данных

С момента запуска все расширенные функции модели Llama 3.1 405B будут доступны разработчикам, чтобы они могли немедленно приступить к работе. Разработчики также могут изучить рабочие процессы более высокого порядка, такие как генерация синтетических данных на основе дистилляции модели. В этом обновлении Meta также легко интегрирует решения, предоставленные партнерами AWS, NVIDIA и Databricks, для достижения более эффективной генерации дополнительных данных (RAG). Кроме того, Groq был оптимизирован для вывода с малой задержкой при развертывании моделей в облаке, а аналогичные улучшения производительности были сделаны для локальных систем.

На этот раз Meta также встроила «подарочный пакет инструментов» для Llama 3.1 405B, включающий такие ключевые проекты, как vLLM, TensorRT и PyTorch, от разработки модели до развертывания «из коробки» за один шаг.

Ссылка на ссылку: https://ai.meta.com/blog/meta-llama-3-1/