Автор: Ма Сюэвэй

Siri наконец-то превратилась в «AI Siri», и долгожданный Apple Intelligence уже здесь.

С запуском Apple Intelligence для iOS 18, iPadOS 18 и macOS Sequoia компания Apple также выпустила технический отчет о своей собственной большой модели, в котором сообщалось о большом количестве технических подробностей, что привлекло большое внимание со стороны отрасли.

По имеющимся данным, Apple Intelligence содержит несколько высокопроизводительных генеративных моделей, которые быстры, эффективны, предназначены для повседневных задач пользователей и могут мгновенно адаптироваться к текущей деятельности пользователей. Базовые модели, встроенные в Apple Intelligence, уже оптимизированы для удобства пользователей, таких как написание и доработка текста, приоритизация и обобщение уведомлений, создание интересных изображений для разговоров с семьей и друзьями, а также выполнение действий внутри приложения для оптимизации взаимодействия между приложениями.

В техническом отчете команда Apple подробно рассказала, как были построены и адаптированы для работы две модели — языковая модель AFM (модель Apple Foundation) примерно с 3 миллиардами параметров и более крупная языковая модель на основе сервера AFM. профессиональные задачи эффективно и точно.

Обзор модели AFM |

Эти две основополагающие модели являются частью более крупного семейства генеративных моделей, созданных Apple для поддержки пользователей и разработчиков; сюда входит модель программирования, основанная на модели языка AFM, для построения интеллекта в Xcode, а также модель распространения, помогающая пользователям выражать себя визуально. например, в приложениях для обмена сообщениями.

Как работает АФМ?

AFM прошла строгую оценку в процессе разработки, и результаты оценки показали, что модель хорошо показала себя при предварительном обучении, после обучения и выполнении конкретных задач и соответствовала основным ценностям Apple и принципам ответственного ИИ.

1. Оценка перед обучением

Команда Apple использовала общедоступные тесты оценки, такие как HELM MMLU, HELMLite и OpenLLM, чтобы оценить понимание языка и возможности рассуждения модели AFM. Результаты показывают, что модель AFM достигла отличных результатов по множеству показателей оценки, продемонстрировала хорошее понимание языка и способности к рассуждению, а также заложила основу для последующего применения после обучения и выполнения конкретных задач.

2. Оценка после обучения

Команда Apple объединила человеческую оценку и автоматизированную оценку, чтобы оценить общие и конкретные возможности модели AFM, такие как следование инструкциям, использование инструментов и написание.Результаты оценки следующие:

• Человеческая оценка:Модель AFM сравнима или лучше других моделей с открытым исходным кодом и коммерческих моделей для решения множества задач, демонстрируя, что модель может понимать и выполнять сложные инструкции, а также генерировать высококачественный текст.

Рисунок | Сравнивая модель AFM с другими моделями с открытым исходным кодом и коммерческими моделями, оценщики отдают предпочтение модели AFM.

Исследовательская группа оценила MAIA на основе парадигмы описания нейронов. Исследование показало, что MAIA добился превосходного эффекта описания как на реальных моделях, так и на синтетических наборах данных нейронов, с прогностическими возможностями, лучшими, чем базовые методы, и сравнимыми с экспертами-людьми.

• Оценка соответствия инструкции:Модель AFM достигла отличных результатов в таких тестах, как IFEval и AlpacaEval 2.0 LC, продемонстрировав, что модель может эффективно понимать и следовать инструкциям.

Рисунок | Сравнение возможностей соответствия инструкциям модели AFM и связанных моделей, измеренных с помощью IFEval. Чем выше значение, тем лучше способность.

• Оценка использования инструмента:Модель AFM достигла наилучшей общей точности в тесте Berkeley Function Calling Leaderboard, что указывает на то, что модель может эффективно использовать этот инструмент.

Рисунок | Сервер AFM обеспечивает лучшую общую точность, лучше, чем Gemini-1.5-Pro-Preview-0514 и GPT-4.

• Письменная оценка:Модель AFM показала хорошие результаты во внутренних тестах по реферированию и написанию, продемонстрировав способность модели генерировать беглый и высококачественный текст.

Рисунок | AFM в сравнении с некоторыми из наиболее известных моделей, а также с моделями с открытым исходным кодом меньшего масштаба. По сравнению с Gemma-7B и Mistral-7B, АСМ на устройстве может обеспечить эквивалентную или лучшую производительность. AFM-сервер существенно превосходит dbrx-директиву и сравним с GPT-3.5 и GPT-4.

• Математическая оценка:Модель AFM показала отличные результаты в таких тестах, как GSM8K и MATH, что указывает на то, что модель может эффективно решать математические задачи.

Рисунок | Исследовательская группа сравнила производительность AFM по математическим тестам после обучения, включая GSM8K и математику. Производительность АСМ-на устройстве значительно лучше, чем у Мистраля-7Б и Джеммы-7Б.

Кроме того, исследовательская группа провела оценку конкретных задач и безопасности модели. Они использовали человеческую оценку и тесты оценки для конкретных задач, чтобы оценить производительность модели AFM для конкретных задач, таких как обобщение электронной почты, обобщение сообщений и обобщение уведомлений. Согласно результатам оценки, производительность модели AFM в сводке электронной почты, сводке сообщений и сводке уведомлений лучше, чем у других моделей во многих аспектах, таких как точность, полнота и читаемость.

Что касается безопасности, исследовательская группа использовала состязательные наборы данных и человеческую оценку, чтобы оценить устойчивость модели AFM к вредоносному контенту и деликатным темам. Результаты оценки показывают, что модель AFM демонстрирует хорошую устойчивость к состязательным данным и деликатным темам, избегая в определенной степени вредных или неуместных ответов.

Как «практикуется» АСМ?

Архитектура

Как и большинство основных моделей, модель AFM основана на Трансформатор архитектура, но также использует некоторые конкретные варианты дизайна для повышения эффективности и производительности.Основные компоненты следующие:

• Модуль трансформатора: AFM использует стандартный модуль трансформатора, включающий многоголовочный механизм внимания и прямую связь.Нейронные сети。

• Общая матрица внедрения ввода/вывода. Такая конструкция уменьшает количество параметров модели и повышает эффективность использования памяти.

• Предварительная нормализация и RMSNorm: эти методы повышают стабильность обучения и помогают модели изучить более сложные закономерности.

• Нормализация запросов/ключей. Этот метод еще больше повышает стабильность обучения.

• Внимание к групповым запросам (GQA). Механизм GQA снижает использование памяти и повышает эффективность вычислений.

• Функция активации SwiGLU: эта функция активации повышает эффективность модели.

• Встраивание позиции RoPE: механизм RoPE поддерживает кодирование длинного текста и улучшает способность модели представлять контекст.

Рисунок | AFM-on-device имеет 3072 параметра и подходит для вывода на устройстве. Он использует 26 слоев преобразователя, каждый уровень содержит 128 заголовков, 8 заголовков запросов/ключей и 24 заголовка запросов.

предварительная подготовка

Процесс предварительного обучения модели AFM предназначен для обучения мощных языковых моделей для поддержки различных функций системы Apple Intelligence. Модели AFM обучаются в кластерах Cloud TPU с использованием платформы AXLearn, которая поддерживает обучение крупномасштабных моделей и длин последовательностей, а также обеспечивает эффективное обучение и производительность вывода.

Набор данных для предварительного обучения AFM состоит из нескольких типов высококачественных данных, в том числе:

• Веб-контент: общедоступная информация, просканированная с помощью Applebot и отфильтрованная.

• Лицензированные наборы данных: высококачественные наборы данных, полученные от издателей, предоставляющих разнообразные длинные текстовые данные.

• Код: данные открытого исходного кода, полученные из GitHub, охватывающие несколько языков программирования.

• Математика: веб-данные, содержащие математический контент, например математические вопросы, форумы, блоги, учебные пособия и семинары.

• Публичный набор данных: общедоступный набор данных, который был оценен и проверен.

Предварительная тренировка AFM разделена на три этапа:

• Основной этап: использование самого большого набора данных для обучения. Основная цель — изучить базовые знания языка и шаблоны.

• Непрерывный этап: на основе основного этапа добавляется код и математические данные, а вес данных веб-страницы уменьшается для дальнейшего расширения объема знаний модели.

• Этап расширения контекста: на основе непрерывного этапа используются более длинные последовательности и синтетические длинные текстовые данные для улучшения возможностей обработки модели для длинных текстов.

после обучения

AFM приобретает хорошие способности к пониманию языка на этапе предварительного обучения, но для того, чтобы применить его к конкретным задачам, таким как обобщение электронной почты, обобщение сообщений и обобщение уведомлений, требуется постобучение.включать:

• Контролируемая точная настройка (SFT):

  • Сбор данных. Используйте данные, аннотированные человеком, и синтетические данные, чтобы обеспечить разнообразие качества данных и охватывать различные сценарии использования естественного языка.

  • Смешивание данных. Тщательно выбирайте и объединяйте человеческие и синтетические данные для формирования высококачественных смесей данных.

  • Метод точной настройки: используйте адаптер LoRA для точной настройки модели, настраивайте только параметры адаптера и сохраняйте общие знания о модели.

• Обучение с подкреплением на основе обратной связи с человеком (RLHF):

  • Модель вознаграждения. Обучите модель вознаграждения, используя данные о предпочтениях человека, и оцените качество ответов модели.

  • Комитет по итеративному обучению (iTeC): Итеративно улучшает модель, используя несколько алгоритмов оптимизации предпочтений, включая выборку отклонения, прямую оптимизацию предпочтений и онлайн-обучение с подкреплением.

  • Онлайн-алгоритм RLHF (MDLOO): используйте оптимизацию политики зеркального спуска и оценщик преимуществ исключения одного, чтобы максимизировать вознаграждение и улучшить качество модели.

Преимущества посттренинга:

• Улучшение качества модели: постобучение значительно повышает качество и производительность модели AFM, благодаря чему она хорошо справляется с конкретными задачами.

• Соблюдайте основные ценности Apple и принципы ответственного ИИ. В процессе обучения полностью учитываются качество данных, безопасность и фильтрация вредоносного контента, чтобы гарантировать соответствие модели основным ценностям Apple и принципам ответственного ИИ.

• Масштабируемость. Метод постобучения можно масштабировать для решения других задач, что позволяет модели AFM поддерживать больше функций Apple Intelligence.

Оптимизация вывода

AFM не только должен обладать хорошими возможностями понимания языка, но также должен иметь возможность эффективно работать на таких устройствах, как iPhone, iPad и Mac, а также выполнять вычисления в частном облаке на кремниевых серверах Apple. Для достижения этой цели Apple разработала ряд методов оптимизации, обеспечивающих эффективную работу моделей AFM при решении конкретных задач, сохраняя при этом общее качество модели.

Оптимизация:

• Квантование модели: используйте технологию 4-битного квантования для квантования модели AFM, что значительно уменьшает размер модели и стоимость вывода.

• Адаптер восстановления точности. Используйте адаптер LoRA, чтобы восстановить точность квантованной модели, чтобы она была близка к производительности неквантованной модели.

• Квантование смешанной точности. Квантуйте каждый слой модели с использованием 4-битной и 2-битной точности квантования, чтобы еще больше сократить использование памяти при сохранении качества модели.

• Интерактивный анализ модели. Используйте инструмент Talaria для анализа задержки и энергопотребления модели, выбора скорости передачи данных и оптимизации производительности модели.

• Сменные адаптеры во время выполнения. Используйте адаптеры LoRA для точной настройки модели, чтобы ее можно было адаптировать к конкретным задачам, сохраняя при этом общие знания о модели.

Краткое описание запроса на оптимизацию:

• Сбор данных. Собирайте входные данные, содержащие выдержки из электронных писем, сообщений и уведомлений, а также выполняйте очистку и дедупликацию данных.

• Создание синтетических сводок. Используйте сервер AFM для создания синтетических сводок, соответствующих требованиям продукта, а также используйте правила и модели для фильтрации, чтобы гарантировать качество данных.

• Внедрение подсказок: добавьте сводки, созданные сервером AFM, к обучающим данным, чтобы помочь модели устройства AFM лучше понимать и генерировать сводки.

Кроме того, Apple Intelligence следует ряду ответственных принципов искусственного интеллекта, включая расширение прав и возможностей пользователей, представление интересов пользователей, тщательный дизайн и защиту конфиденциальности. В техническом отчете Apple опровергает обвинения в использовании сомнительных с этической точки зрения методов для обучения определенных моделей, повторяя, что она не использует частные данные пользователей, а вместо этого использует комбинацию общедоступных и лицензированных данных для целей Apple Intelligence. Они подчеркнули, что данные обучения модели AFM были получены «ответственным» образом.