Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Новый отчет мудрости

Редактор: Редакционный отдел

[Введение в новую мудрость] Сегодня утром все разработчики были ошеломлены внезапным появлением бета-версии iOS 18.1! Неожиданно Apple AI теперь может быть использована для первых пользователей, и большое количество обзоров заполонили весь Интернет. Что еще более удивительно, так это то, что 47-страничный технический отчет о базовой модели искусственного интеллекта Apple также доступен в Интернете.

Рано утром долгожданная первая предварительная версия «Apple AI» была официально представлена ​​разработчикам!

Новейшие возможности Apple AI встроены в три основные системы: iOS 18.1, iPadOS 18.1 и macOS Sequoia 15.1.

Те первые пользователи, которые получили бета-версию iOS 18.1, уже ликуют от радости, и волна за волной обмена реальными тестами распространилась по всей сети.

Последняя предварительная версия содержит много сюрпризов (быстрая предварительная версия):

• Новая Siri: мягко загорается на краю экрана при пробуждении; общается с пользователями, переключаясь между текстом и голосом; может понимать команды, даже когда динамик запинается; также может отвечать на вопросы об устранении неполадок в продуктах Apple;

• Инструменты письма: вы можете переписывать, корректировать и обобщать текст в любом сценарии. (Записки, документы и сторонние приложения принимаются)

• Режим фокусировки (уменьшение прерываний): показывать только те уведомления, которые вам нужно увидеть немедленно.

• Функции фотографий: поиск фотографий на естественном языке и создание видеороликов.

• Создавайте сводные данные AI для электронных писем, сообщений и транскрипций голосовой почты.

Кроме того, есть некоторые функции, которые Apple, по словам Apple, запустит в следующем году, включая интеграцию ChatGPT, генерацию изображений/эмодзи, автоматическую очистку фотографий и сверхмощную Siri с функцией распознавания экрана.

Кстати, на данный момент бета-версия iOS 18.1 (включая iPadOS и macOS) доступна только в США и еще не запущена в Китае.

При этом среди мобильных телефонов только iPhone 15 Pro и iPhone 15 Pro Max поддерживают новую систему.

Согласно представлению системы, бета-версия iOS18.1 занимает в общей сложности 15,44 ГБ памяти, из которых емкость системы iOS составляет 12,58 ГБ, а Apple AI занимает только 2,86 ГБ.

Это связано с тем, что модель, используемая Apple на конечных устройствах, имеет только 3 миллиарда параметров.

Более подробное описание модели скрыто в недавно выпущенном техническом отчете Apple AI.

В 48-страничном документе рассказывается о разработке и оценке LLM компании Apple, включая архитектуру, управление данными, рецепты предварительного и постобучения, оптимизацию, функциональную адаптацию и результаты оценки.

Адрес статьи: https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf.

В частности, Apple разработала две новые базовые языковые модели, которые составляют ядро ​​Apple AI:

Одной из них является конечная модель AFM-on-device, которая имеет около 3 миллиардов параметров. После оптимизации она может работать на iPhone и других терминальных устройствах с более высокой эффективностью и оперативностью.

Другая модель — это модель с более крупными параметрами, которая может работать на облачном сервере Apple, называемом AFM-сервером. Он предназначен для интенсивных задач и использует систему частных облачных вычислений (Private Cloud Compute) для защиты пользовательских данных.

Я до сих пор помню, как на конференции WWDC в прошлом месяце Кук объявил миру о мощных функциях искусственного интеллекта Apple, что дало семейному корзине Apple грандиозное обновление.

Весь Интернет думает, что ИИ больше не является чем-то хорошим, и нам все еще приходится присматриваться к ИИ Apple.

Вообще говоря, Apple обычно сначала выпускает основную систему iOS18.

Но я не ожидал, что на этот раз Apple доставит бета-версию первой партии разработчиков за такой короткий промежуток времени.

В связи с этим в последнем отчете Bloomberg отмечается, что Apple нарушила привычный ритм выпуска программного обеспечения, поскольку Apple AI все еще требует больше времени для тестирования.

Интересно, какие новые континенты открыли первые первопроходцы?

Фактический тест пользователей сети

Технологический блоггер Apple Брэндон Бутч сразу же подготовил видеообъяснение, показывающее наиболее полные функции Apple AI в бета-версии iOS 18.1.

Каким бы суровым ты ни был, он всегда будет нежным и милым.

Он сказал, что Apple AI помог ему найти лучший способ выразить то, что он хотел сказать.

В интерфейсе сообщения напишите то, что вы хотите сказать, в поле ввода.

Затем выберите их все и нажмите кнопку Apple AI, чтобы использовать «дружественный» инструмент для письма. AI сразу сделает тон этого абзаца более тактичным.

Давайте еще раз посмотрим на другого пользователя сети, который специально написал ругательство, что стало гораздо удобнее после того, как ИИ его переписал.

Исправление грамматических опечаток

Кроме того, Бутч воскликнул, что Grammarly убили, и это настоящий AI Apple.

Просто посмотрите на следующий отрывок. Информативное написано неправильно, первая буква написана не с заглавной буквы, и как вы думаете, вместо точки должен заканчиваться вопросительный знак.

Видно, что Apple AI все за вас исправил.

В электронных письмах также используются возможности искусственного интеллекта Apple, которые сводят людей с ума, когда они это слышат.

Он также поддерживает возможности написания инструментов в заметках и сообщениях, включая корректуру, переписывание и т. д.

Краткое описание электронного письма будет отображаться вверху.

Анимационный эффект инструмента записи AI от Apple «очень Apple». По сравнению с плотным потоком токенов, когда модель отвечает, все выглядит так гладко.

Совершенно новая Siri, супер плавный отклик

Глядя на эффект края экрана при вызове Siri, я должен сказать, что Apple знает дизайн лучше всех.

Давайте посмотрим на версию Siri для iPad.

Инженер по искусственному интеллекту из Humane и бывший инженер Apple протестировали Siri и похвалили ее, заявив, что ИИ Apple очень и очень быстрый.

Разбудите Siri и спросите, какой высоты Эйфелева башня? Где он находится?

Кстати, пусть это подтолкнет к каким-нибудь свежим новостям об Олимпиаде в Париже и о том, как смотреть олимпийские мероприятия.

За короткое время Apple AI нашла ответ.

Сводка транскрипции AI, важный контент телефона не боится пропустить

Кроме того, Apple AI также может помочь вам расшифровывать телефонные звонки в заметки и записывать то, о чем вы говорили.

Если нажать кнопку записи, как для вызывающего, так и для вызываемого абонента прозвучит звуковой сигнал, указывая на то, что разговор будет записан.

После завершения записи вы можете напрямую войти во всплывающее окно уведомления, чтобы просмотреть содержимое записи.

режим фокусировки

Используйте Apple AI для автоматического анализа содержимого уведомлений и обнаружения важных уведомлений!

Уведомления от важных людей будут закреплены внизу экрана.

Поиск фотографий, много жалоб

Конечно, причина, по которой iOS 18.1 была выпущена первой, заключается в том, чтобы позволить разработчикам больше тестировать, обнаруживать сообщаемые проблемы и лучше улучшать возможности Apple в области искусственного интеллекта.

Нет, когда YouTube-блогер тестировал функцию фото, он обнаружил, что Siri все еще «умственно отсталая».

Блогер сначала попросил: «Siri покажи мне фотографии из поездки на День Благодарения 2022 года». Сири ответила: Сколько раз открывалось приложение «Здоровье»....

Затем он еще раз повторил вопрос: «Сири, найди в фотографиях фотографии Дня Благодарения».

Как ни странно, Siri нашла кучу изображений, связанных с Днем Благодарения, прямо в Интернете.

Когда он снова спросил: «Сири, покажи мне фотографии из моей поездки на Тайвань», Сири прослушала исходные слова как ключевые слова и выполнила поиск в Интернете по запросу «Моя поездка в Тайвань».

Затем он продолжил спрашивать, а Сири все еще была в замешательстве.

Упрямый блогер, сломанная Сири, я не могу удержаться от смеха...

Как упоминалось в начале, возможность установки Apple AI на терминальные устройства основана на базовой модели, самостоятельно разработанной командой, которая ярко сияет.

Революция искусственного интеллекта в iPhone: 3 миллиарда параметров в вашем кармане

В частности, AFM — это плотная модель только для декодера, основанная на архитектуре Transformer.

Его дизайнерские идеи заключаются в следующем:

• Общие матрицы внедрения ввода/вывода для уменьшения использования памяти параметров.

• Используйте предварительную нормализацию RMSNorm для улучшения стабильности тренировок.

• Нормализация запросов/ключей для повышения стабильности обучения

• Внимание к групповым запросам (GQA) с 8 заголовками «ключ-значение» для уменьшения объема памяти, занимаемого кэшем KV.

• Более эффективная активация SwiGLU

• Встраивание местоположения RoPE с базовой частотой 500 тыс., поддержка длинного контекста

архитектура адаптера

Используя адаптер LoRA, базовая модель Apple может динамически специализироваться на лету в зависимости от текущей задачи.

Эти небольшие модули нейронной сети можно подключать к различным уровням базовой модели и использовать для точной настройки модели для конкретных задач.

Чтобы облегчить обучение адаптеров, Apple также создала эффективную инфраструктуру, которая позволяет быстро добавлять, переобучать, тестировать и развертывать адаптеры, когда базовая модель или данные обучения обновляются или требуются новые функции.

оптимизация

Из-за необходимости ежедневного использования пользователями команда внедрила различные методы оптимизации и количественной оценки, чтобы значительно сократить использование памяти, задержку и энергопотребление, сохраняя при этом качество модели.

метод

На этапе после обучения Apple сжала и квантовала модель до среднего значения менее 4 бит на вес.

Квантованные модели обычно страдают от некоторой потери качества. Таким образом, группа исследований и разработок не передает количественную модель напрямую команде приложения для функциональной разработки, а подключает набор адаптеров LoRA с эффективными параметрами для восстановления качества модели.

Затем каждая группа разработчиков точно настраивает свой адаптер LoRA для конкретной функции, инициализируя веса адаптеров из адаптеров восстановления точности, сохраняя при этом квантованную базовую модель неизменной.

Стоит отметить, что адаптер восстановления точности обучения является эффективным по выборке и может рассматриваться как мини-версия базовой модели обучения.

Среди них на этапе предварительного обучения адаптера необходимо всего около 10 миллиардов токенов (около 0,15% от базового обучения модели) для полного восстановления способностей квантованной модели.

Поскольку адаптеры приложений будут точно настроены с помощью этих прецизионных адаптеров восстановления, они не будут нести никакого дополнительного использования памяти или затрат на логический вывод.

Что касается размера адаптера, команда обнаружила, что адаптер с рангом 16 обеспечивает наилучший баланс между емкостью модели и производительностью вывода.

Однако для обеспечения большей гибкости Apple предоставляет на выбор группам разработчиков набор адаптеров прецизионного восстановления различных рангов.

Количественная оценка

Еще одним преимуществом прецизионных адаптеров восстановления является то, что они позволяют более гибко выбирать схемы квантования.

Раньше при квантовании больших языковых моделей было принято разбивать веса на небольшие фрагменты, нормализовать каждый фрагмент по соответствующему максимальному абсолютному значению, чтобы отфильтровать выбросы, а затем применять алгоритм квантования на основе фрагментов.

Хотя большие размеры блоков уменьшают количество эффективных битов на вес и увеличивают пропускную способность, потери квантования также увеличиваются. Чтобы сбалансировать этот компромисс, размер блока обычно устанавливается на меньшее значение, например 64 или 32.

Но в ходе экспериментов Apple команда обнаружила, что адаптер восстановления точности может значительно улучшить Парето-фронт этого компромисса.

Для более агрессивных схем квантования будет восстановлено больше ошибок. В результате Apple может использовать эффективные схемы квантования для AFM, не беспокоясь о потере емкости модели.

квантование смешанной точности

Остаточные соединения имеются в каждом блоке Трансформатора и на каждом уровне AFM. Поэтому маловероятно, что все уровни имеют одинаковую важность.

Основываясь на этой интуиции, Apple еще больше сократила использование памяти, переведя определенные слои на 2-битное квантование (по умолчанию — 4-битное).

В среднем модели на устройствах AFM можно сжать примерно до 3,5 бит на вес (bpw) без значительной потери качества.

В производстве Apple предпочитает использовать скорость 3,7 бит/с, поскольку она уже соответствует требованиям к памяти.

результат оценки

предварительная подготовка

В таблице 2 показаны результаты AFM-on-device и AFM-server на HELM MMLU v1.5.0, в ходе которых тестировались вопросы с множественным выбором из 5 выборок у 57 испытуемых.

В таблицах 3 и 4 показаны результаты AFM-сервера в тестах HuggingFace OpenLLM Ranking V1 и HELM-Lite v1.5.0 соответственно.

Видно, что модель предварительного обучения AFM обладает мощными языковыми и логическими возможностями, обеспечивая тем самым прочную основу для постобучения и тонкой настройки функций.

после обучения человеческая оценка

В сценариях приложений Apple AI человеческая оценка ближе к пользовательскому опыту.

Чтобы оценить общие возможности модели, команда собрала полный набор из 1393 подсказок.

Подсказки являются комплексными и охватывают различные категории и уровни сложности, в том числе: аналитические рассуждения, мозговой штурм, чат-боты, классификацию, ответы на закрытые вопросы, кодирование, извлечение, математические рассуждения, ответы на открытые вопросы, переписывание, безопасность, подведение итогов и написание.

На рисунке 3 показано сравнение AFM с моделями с открытым исходным кодом (Phi-3, Gemma-1.1, Llama-3, Mistral, DBRX-Instruct) и коммерческими моделями (GPT-3.5 и GPT-4).

Было обнаружено, что оценщики предпочли модель AFM модели конкурента.

В частности, несмотря на то, что размер модели AFM-on-device на 25 % меньше, ее процент выигрыша составляет 47,7 % по сравнению с Phi-3-mini, что даже превышает сильные базовые показатели с открытым исходным кодом Gemma-7B и Mistral — более чем в два раза выше. количество параметров 7Б.

По сравнению с моделью с закрытым исходным кодом, AFM-сервер также показал определенную конкурентоспособность: процент выигрышей составил более 50%, а процент отрисовки - 27,4% по сравнению с GPT-3.5.

Следовать инструкциям

Следование инструкциям (IF) — это основная функция, на которую команда Apple возлагает большие надежды в отношении языковых моделей, поскольку реальные подсказки или инструкции часто бывают сложными.

Здесь команда использовала общедоступный тест IFEval, чтобы оценить, могут ли большие языковые модели точно следовать инструкциям в подсказке при генерации ответов. Они часто включают конкретные требования к длине, формату и содержанию ответа.

Как показано на рисунке 4, AFM-на-устройстве и AFM-сервер работают хорошо как на уровне команд, так и на уровне подсказок.

Кроме того, команда Apple также протестировала модель AFM на тесте AlpacaEval 2.0 LC, чтобы измерить ее общие возможности следования инструкциям, и результаты показали, что ее модель очень конкурентоспособна.

Использование инструмента

В сценариях использования инструмента после того, как модель получит запрос пользователя и список потенциальных инструментов с описаниями, она может выбрать вызов определенного инструмента, предоставив структурированный вывод и указав имя инструмента и значения параметров.

Команда оценила модель в общедоступном тесте Berkeley Function Calling Leaderboard, используя метрики AST со встроенной поддержкой вызовов функций.

Как показано на рисунке 5, AFM-сервер работает лучше всего по общей точности, превосходя Gemini-1.5-Pro-Preview-0514 и GPT-4.

письмо

Письмо — одна из наиболее важных возможностей больших языковых моделей, поскольку оно поддерживает множество последующих приложений, таких как изменение тона, переписывание и подведение итогов.

Команда оценивает навыки письма AFM во внутреннем резюме и написании контрольных тестов. Следуя подходу LLM как судьи, инструкции по выставлению оценок были разработаны для каждого задания по составлению сводки и написанию, а GPT-4 Turbo было предложено оценить ответ модели по шкале от 1 до 10.

Как показано на рисунке 6, АСМ-на устройстве показывает сравнимую или лучшую производительность по сравнению с «Геммой-7Б» и «Мистралем-7Б». AFM-сервер существенно лучше DBRX-Instruct и GPT-3.5 и даже сравним с GPT-4.

Стоит отметить, что существуют некоторые ограничения и предвзятости в использовании оценки LLM, например, смещение длины.

математика

На рисунке 7 команда сравнивает производительность AFM с помощью математического теста.

Среди них исследователи использовали наконечники CoT с 8 импульсами для GSM8K и наконечники CoT с 4 импульсами для MATH.

Результаты показывают, что AFM-на-устройстве значительно превосходит Mistral-7B и Gemma-7B, даже при меньшем размере обоих.

Сводная функция

Команда разработчиков продукта разработала индивидуальный набор рекомендаций, показателей и специализированных критериев оценки для обобщения электронных писем, сообщений и уведомлений для оценки качества сводных данных, используя различные наборы данных с открытым исходным кодом, лицензированные и собственные.

Сводка классифицируется как «Плохо», если какой-либо подпараметр получает оценку «Плохо» на основании предопределенных характеристик продукта. Аналогичным образом, резюме классифицируется как «хорошее», только если все подпараметры имеют оценку «хорошо».

На рисунке 8 показано, что общая производительность адаптера AFM-on-device+ выше, чем у Phi-3-mini, Llama-3-8B и Gemma-7B.

оценить безопасность

На рис. 9 показаны результаты оценки нарушений модели людьми-рецензентами. Чем ниже значение, тем лучше.

Видно, что AFM-на-устройстве и AFM-сервер демонстрируют высокую надежность в борьбе с состязательными запросами, а уровень нарушений значительно ниже, чем у моделей с открытым исходным кодом и коммерческих моделей.

На рис. 10 показаны предпочтения проверяющих в отношении подсказок по оценке безопасности.

Модель AFM снова выиграла раунд, поскольку она могла обеспечить более безопасный и полезный ответ.

Вышеупомянутое — ключевой взгляд на модель искусственного интеллекта Apple.

Когда каждый сможет использовать возможности искусственного интеллекта Apple?

Каждый год Apple представляет новые продукты на осенней конференции, а начальная версия iOS 18 будет выпущена одновременно с iPhone 16.

Однако, чтобы испытать это, всем придется подождать до октября.

Использованная литература:

https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

https://x.com/BrandonButch/status/1817982978540404776