моя контактная информация
почта[email protected]
2024-09-06
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
автор технологий tencent го сяоцзин у бинь
видеопланировщик у бинь
редактор чжэн кэджун
перед пресс-конференцией apple мы разобрали панораму apple intelligence
на wwdc24 (всемирной конференции разработчиков apple) в июне этого года мир впервые услышал термин «apple intelligence» apple использовала гомофонную основу искусственного интеллекта (ии) для определения своего собственного apple ai. ранее apple избегала использования термина «ии» при обсуждении своих функций, связанных с машинным обучением.
по сей день в последнем письме-приглашении на осеннюю конференцию apple, хотя и нет «ии», все оно раскрывает различные разновидности «ии».
примечание. слева — письмо-приглашение на осеннюю конференцию apple по запуску новых продуктов 2024 года, а справа — письмо-приглашение на wwdc24.
например, тема приглашения — «основной момент». основной цвет и красочный ореол вокруг логотипа apple очень соответствуют основному цвету приглашения wwdc24.
надпись: новый значок siri, эффект отображения iphone после пробуждения siri.
и цвет siri тоже меняется. вы можете видеть, что ее новый логотип и цветовая схема после пробуждения siri полностью отличаются от старой siri.
легенда: осенняя конференция apple 2023, приглашение на wwdc23, старый логотип siri, заметные различия в цветовой гамме.
я даже попросил продукт искусственного интеллекта помочь мне проанализировать элементы, связанные с искусственным интеллектом, в письме-приглашении на осеннюю конференцию, и он сказал мне:
что касается графического дизайна: логотип состоит из линий, окружающих классический контур apple, а динамическое ощущение имитирует интеллектуальное взаимодействие искусственного интеллекта. этот динамичный графический дизайн может имитировать плавное интеллектуальное взаимодействие, обеспечиваемое технологией искусственного интеллекта;
цветовой тон: в логотипе приглашения используются неоновые тона, такие как синий, фиолетовый, оранжевый и розовый. сочетание насыщенных цветов очень похоже на генеративное искусство ии; сами эти цвета могут быть связаны с функциями или сценариями применения ии. -связанные функции в продуктах apple существует корреляция;
визуальная ассоциация. визуальная ассоциация между приглашением и siri может означать ключевую роль технологии искусственного интеллекта в продуктах apple, а также то, что siri может быть дополнительно модернизирована и оптимизирована в будущем для лучшей интеграции с другими функциями искусственного интеллекта, чтобы предоставлять пользователям более умные и удобные услуги. ;
от неупоминания ии до даже имени, содержащего омофон «ии», даже цвет приглашения должен соответствовать «ии». очевидно, что эти разработки не случайны. apple намекает, что apple intelligence по-прежнему будет в центре внимания релиза этой осени.
итак, в чем сила apple intelligence? в этой статье мы подробно поговорим с вами о следующих вопросах:
① краткое введение: как выглядит общая картина apple intelligence на основе доступной информации?
② обзор прогресса: как продвигается работа apple intelligence с июня по август?
③ угадайте: какой apple intelligence мы увидим в ближайшее время?
④ глубокое размышление: как будет развиваться будущая экосистема apple с «ии»?
информационный бюллетень: абсолютно конфиденциально и безопасно
на wwdc24 очень важно выступление кука:
«мы рады запускуновая глава в инновациях apple.apple интеллектизменит способ использования пользователями наших продуктов——и что наши продукты могут сделать для пользователей,наш уникальный подходсочетает генеративный искусственный интеллект с потребностями пользователей, обеспечивая реальныеполезная информация. он можетполностью конфиденциальный и безопасный способполучите доступ к этой информации, чтобы помочь пользователям делать то, что для них наиболее важно. этоии, который может предложить только apple, мы с нетерпением ждем, когда пользователи увидят, на что он способен. "
в этом отрывке есть три ключевых момента (обратите внимание на ключевые слова, выделенные синим цветом):
1. объедините генеративный искусственный интеллект и потребности пользователей, чтобы обеспечитьполезныйразумный
2. дауникальныйметод, это искусственный интеллект, который может предоставить только apple
3、полностью конфиденциально и безопасноспособ
если вы хотите это сделать, вы должны решитьчетыре основные проблемы, с которыми сталкиваются все ии на стороне устройства:
во-первых, полезно: идеально соответствуют потребностям пользователей, а не потребностям производства, а также продумывают способы взаимодействия.
во-вторых, безопасность: модель необходимо запускать локально.
в-третьих, плавность: для решения проблем, которые не могут быть решены локальным оборудованием, используется более крупная модель в облаке.
в-четвертых, безопасность и полная конфиденциальность: при использовании облачной модели большой объем личной информации на мобильном телефоне подвергается риску утечки.
очевидно, что неоднократно упомянутая безопасность и конфиденциальность являются важнейшими предпосылками для любой услуги, которую apple хочет предоставить пользователям.
можно сказать, что до apple ни один производитель не предлагал полноценного решения.
так что же apple думает по этому поводу? давайте взглянем на панораму apple intelligence и, возможно, получим представление об общей логике apple в области искусственного интеллекта.
надпись: панорама apple intelligence, перевод tencent technology.
уровень системы персонального интеллекта соединяет самый верхний уровень приложений, знакомый пользователям, и уровень чипов собственной разработки apple.
можно сказать, что уровень системы персонального интеллекта является базовой структурой apple intelligence. мы можем рассматривать его как несколько частей.
первая часть — это afm-on-device (конечная модель apple fondation model).это модель с 3 миллиардами параметров, которая является наиболее важной частью конечного ии. из-за высоких требований к конфиденциальности и безопасности локальное выполнение модели на стороне клиента имеет наивысший приоритет. в облако можно отправлять только то, что она не может сделать.
однако модель устройства имеет невозможный треугольник: производительность, объем параметров, память и энергопотребление, что также является наиболее проблемным вопросом для различных производителей.
для превосходной производительности требуется большое количество параметров; большое количество параметров означает, что большое использование памяти и высокое энергопотребление могут повлиять на производительность; так как же эти три должны быть сбалансированы?
план apple следующий:
① низкобитовая палитра: эта технология делает модель легче, подобно сжатию фотографий высокой четкости, и не занимает много места на мобильном телефоне.
② адаптеры lora: эти гаджеты позволяют моделям быстро осваивать новые навыки по мере необходимости, подобно кубикам lego, которые можно собирать в различные формы.
③ инструмент talaria: этот инструмент помогает отслеживать и регулировать энергопотребление модели, чтобы гарантировать, что она не потребляет слишком много энергии.
④ внимание к сгруппированным запросам: позволяет модели быстро сосредоточиться на важной информации, аналогично использованию тегов для быстрого поиска книг.
⑤ общий словарь: благодаря совместному использованию словаря сокращается использование памяти, как и при использовании словаря, позволяющего всем искать слова, что экономит место.
проще говоря, эти технологии оптимизации позволяют afm на устройствеоставайтесь умными, экономьте электроэнергию и быстро реагируйте。
самым большим событием является адаптер lora (адаптер адаптации низкого ранга), который представляет собой технический инструмент, используемый для оптимизации моделей машинного обучения, особенно больших языковых моделей и генеративных моделей. это похоже на добавление специальных виджетов, таких как «сводное сообщение» или «. ответ на электронное письмо» позволяют моделям лучше выполнять эти конкретные задачи.
видео: рабочая схема адаптера lora
таким образом, используя 3 миллиарда параметров, можно достичь производительности, эквивалентной другим основным моделям с масштабом более 7 миллиардов (результаты оценки предоставлены официальным представителем apple).
инструмент talaria сочетается с другими методами (такими как групповое внимание к запросам, общий словарь ввода и вывода, низкобитовое квантование, стратегия гибридной конфигурации, квантование активации и встроенное квантование и т. д.). модель apple может достигать скорости около 0,6 миллисекунды. на iphone 15 pro и скорости генерации 30 токенов в секунду, а также, удовлетворяя требованиям к производительности, также может снизить энергопотребление мобильного телефона и нагрузку на память.
но даже в этом случае, по словам представителей apple, для работы apple intelligence все равно требуется минимальная конфигурация iphone 15 pro. более того, по мнению tencent technology, для поддержки работы apple intelligence требуется как минимум 8 гб памяти.
таким образом, на данном этапе возможности модели на стороне устройства с 3 миллиардами параметров являются верхним пределом проблем, которые может решить локальный ии-мозг iphone и mac.
поэтому сложные расчеты по-прежнему необходимо отправлять в облако и обрабатывать с помощью моделей с большими параметрами.
это второй важный компонент apple intelligence — облачная модель (afm server).
здесь необходимо добавить, что роль уровня оркестрации заключается в том, чтобы определить, должны ли потребности пользователя решаться на стороне клиента или выгружаться в облако, аналогично командиру. apple не выполняет здесь никакого ручного вмешательства и полностью полагается на собственный алгоритм принятия решения. пользователи не могут решить, размещаются ли их данные только на устройстве.
apple не раскрыла конкретные параметры облачной модели. в отличие от клиентской модели, которая является дистиллированной из более крупной модели, она обучается с нуля. в то же время используются некоторые расширенные методы обучения, общие для конечной модели.
наиболее важной особенностью этой облачной модели является реализация того, что кук упомянул в“полностью конфиденциально и безопасно”, который обеспечивает защиту посредством частных облачных вычислений (pcc).
как именно это так секретно? здесь много профессиональных приемов. давайте просто воспроизведем весь процесс:
①пользователь инициирует запрос. например, вы спрашиваете siri на своем мобильном телефоне: «во сколько мне забрать детей из школы и успеть на собрание компании?»
②безопасная инкапсуляция: ваш телефон немедленно шифрует запрос в «секретный пакет», который может расшифровать только pcc.
③секретная отправка: этот «секретный пакет» отправляется в pcc по защищенному секретному каналу. этот проход похож на туннель с паролем, пройти через который может только тот, кто знает пароль.
④pcc расшифровывает и обрабатывает: после получения посылки pcc использует свой собственный супермозг (мощную модель искусственного интеллекта), чтобы понять ваш запрос и найти ответ. в ходе этого процесса pcc будет использовать различные технологии, чтобы гарантировать, что ваши данные не будут утечек или злоупотреблений.
⑤данные удаляются, как только они израсходованы: после того, как pcc найдет ответ, он немедленно удалит все ваши временно сохраненные данные, точно так же, как стирает слова на доске водой, не оставляя следов.
⑥результат возврата: pcc повторно шифрует ответ и отправляет его обратно на ваш телефон по защищенному каналу. разблокируете телефон и можете переходить к выводу.
короче говоря, pcc шифрует для вас ваши потребности, передает их ии для обработки по секретному каналу и удаляет их после обработки. итак, какие технологии использует pcc, чтобы гарантировать, что пользовательские данные не будут утечек или злоупотреблений?
если использовать яркую, но не совсем строгую метафору, чтобы понять: pcc похож на специально спроектированное хранилище. даже если вы можете войти в хранилище, трудно найти, где находятся конкретные ценности, поскольку они хранятся в разных местах в случайном порядке. известный как метод «целевого распространения».
кроме того, двери и замки хранилища очень прочные и могут быть открыты только проверенными сотрудниками (то есть узлами pcc), и каждый раз при открытии двери требуется специальный ключ (технология шифрования). эти ключи необходимы. одноразового использования. после использования он становится недействительным, поэтому даже если кто-то украдет ключ, дверь невозможно будет открыть.
самое главное, что даже если вы сможете войти в хранилище, после того, как ваши ценности будут вынуты и осмотрены, они будут быстро возвращены и заперты, не оставив никаких следов, поэтому, даже если кто-то захочет, найти их предыдущее местонахождение невозможно. .
только у apple в настоящее время есть условия для реализации этого многоуровневого плана безопасности.
следует упомянуть третью важную часть apple intelligence — слой микросхем собственной разработки.эти защищенные серверы используют чип m2 ultra собственной разработки apple.
эти чипы обеспечивают мощные возможности шифрования и способны выполнять сложные алгоритмы шифрования для обеспечения безопасности данных во время передачи и обработки. он также включает в себя различные аппаратные функции безопасности, такие как secure enclave, который представляет собой изолированную аппаратную область, предназначенную для безопасной обработки ключей шифрования и конфиденциальных операций, обеспечивая защиту пользовательских данных даже на уровне сервера.
кроме того, чипы поддерживают технологию secure boot, которая гарантирует, что на серверах можно будет запускать только программное обеспечение, подписанное apple, предотвращая загрузку вредоносных программ при запуске системы.
будь то чипы серии a для iphone или чипы серии m для mac, они полностью разработаны apple. это означает, что эти чипы интегрированы с системой apple с момента их появления на свет и прекрасно поддерживают apple intelligence с точки зрения производительности, энергопотребления, безопасности и т. д. это преимущество, которого вообще нет у других производителей.
эти три характеристики составляют основу интеллекта apple: локально работающая клиентская модель и ряд базовых моделей со специфическими функциями, облачная модель, предоставляемая через услуги частных облачных вычислений, и мощный уровень микросхем собственной разработки.
на этом этапе вы можете спросить, а где openai? не ходили слухи, что базовая модель apple intelligence использует openai?
apple не раскрывает многих подробностей своего сотрудничества с openai. судя по текущим результатам, chatgpt не предустановлен в системе в виде независимого приложения. apple лишь предоставляет openai интерфейс прикладной программы для интеграции chatgpt в систему. как и в случае сотрудничества между apple и google search, openai не получит более высоких разрешений.
в этом процессе пользователи имеют право активно выбирать, использовать ли услуги openai. после передачи данных openai apple не будет нести ответственность за последующую безопасность данных.
более того, openai не будет единственным партнером. по сообщениям зарубежных сми, apple также обсуждает крупное сотрудничество с google в сфере моделей. поэтому openai должна стать одним из партнёров экосистемы apple intelligence.
примечание. официальная схема внедрения gpt в iphone от apple.
инвентаризация прогресса: с июня по август,
как идут дела у apple intelligence?
благодаря такой базовой поддержке пользователи могут в полной мере ощутить функции продукта.
давайте сначала рассмотрим конкретные функции apple intelligence, анонсированные на wwdc24 в июне, которые можно разделить на следующие категории:
① инструменты письма могут помочь вам корректировать, переписывать контент в соответствии со стилем, обобщать текстовое содержание и т. д.;
② генерация изображений (игровая площадка изображений) генерирует интересные и забавные изображения на основе подсказок.
③ genmoji генерирует интересные персонализированные смайлы
④ в более продвинутой siri взаимодействие становится более естественным, более персонализированным и более глубоко интегрированным с системой.
только в августе этого года разработчики в северной америкевы уже начали использовать соответствующие устройства apple, чтобы опробовать некоторые функции apple intelligence.
существующие функции более подробны, чем когда они были анонсированы на wwdc24, но общие функции — это в основном текстовая помощь (написание, резюме, ответ по электронной почте и т. д.), генерация изображений (обработка фотографий, genmoji), запись и организация телефона и т. д. ниже приведен список функций, основанный на неполной статистике tencent technology, основанной на общедоступной информации:
мы видим, что самый быстрый прогресс наблюдается в функциях, связанных с обработкой текста.
что касается мультимодальной обработки, похоже, что чисто конечные части теперь подключены к сети, такие как поиск фотографий, запись разговоров и т. д., функция генерации изображений еще не подключена к сети; похоже, что мультимодальные функции, требующие мобилизации облачных возможностей, еще не готовы.
функции, которые просто интегрируются в систему, такие как режимы фокусировки и приоритетные важные уведомления, должны быть полностью обработаны на конечной стороне и уже запущены. были запущены простые функции, такие как новые специальные эффекты пользовательского интерфейса siri.
однако долгожданное обновление siri, глубоко интегрированное с системой, которое можно передавать между различными приложениями с помощью голосовых команд, а также интеграция сторонней большой модели openai gpt еще не запущены. по данным официального сайта apple, обновления других языков (кроме английского), возможностей программной платформы и т. д. будут завершены в течение следующего года.
если вы посмотрите на индикатор выполнения, то, по оценкам, было выполнено только около 30% обещания, данного apple на wwdc24.
но если пользователи хотят его использовать, существуют очень строгие условия: используемое устройство должно быть моделью-преемником iphone 15 pro, iphone 15 pro max или ipad и mac после чипа m1. кроме того, язык siri и устройства должен быть установлен на английский (сша).
примечание. на официальном веб-сайте apple объявляются аппаратные и системные условия для использования интеллектуальных устройств apple.
осенняя конференция по запуску новых продуктов этого года,
чего вы больше всего ждете?
прототип apple intelligence сформирован, но пройдет еще немало времени, прежде чем все пользователи apple смогут им воспользоваться.
если ваш продукт соответствует требованиям apple к аппаратному обеспечению, языку и региону, указанным apple, вы сможете впервые встретиться с apple intelligence осенью.конечно, это может быть не запуск нового продукта в сентябре. по данным зарубежных сми, он должен состояться в октябре.
помимо apple intelligence, мы также можем рассчитывать на чип a18, установленный на iphone 16 во время презентации нового продукта этой осенью.
согласно новостям, опубликованным в настоящее время,apple будет использовать тот же процесс tsmc n3e, что и m4 для чипа a18.по сравнению с процессом n3b, использованным в прошлогоднем a17 pro, n3e имеет большие преимущества в повышении энергоэффективности.
что такое процесс n3e?
это эквивалентно внутренней модернизации чипа мобильного телефона. хотя размер дома (базовый блок) не изменился, дороги (схема) и объекты (транзисторы) были перепроектированы, чтобы вся территория (чип) работала более эффективно. эффективно. это похоже на то, как сделать городское движение более плавным, а жители — потреблять меньше электроэнергии. таким образом, чип a18, использующий этот процесс, может позволить пользователям почувствовать, что мобильный телефон реагирует быстрее, батарея работает дольше и он может более плавно выполнять несколько задач одновременно.
ходят слухи, что npu soc a18 будет значительно модернизирован, а общая вычислительная мощность будет выше, чем 38tops у m4.
это означает, что вычислительная мощность npu будущего iphone 16 уже сравнима с лучшими настольными системами apple. чтобы справиться с порогом памяти apple intelligence, iphone 16 также впервые увеличит рабочую память корпуса до 8 гб.
от памяти до энергопотребления и вычислительной мощности — кажется, что он создан для apple intelligence.
вычислительная мощность npu a17 pro, выпущенного apple в прошлом году, составила 35 tops, а a18 будет только выше.
очевидно, что начиная с сентября этого года все будущие аппаратные продукты apple будут активно использовать apple intelligence.
не только iphone, mac и ipad, но даже такие продукты, как apple watch, homepod и vision pro, могут стать частью стратегии apple в области искусственного интеллекта в будущем.
на wwdc24 старший вице-президент apple крейг продемонстрировал быстрый и актуальный сценарий использования apple ai: было получено уведомление о временном изменении времени встречи, и сири спросили, может ли он по-прежнему следить за занятиями детей, которые он изначально хотел посетить.
он продолжал разговаривать с siri, и мобильное приложение плавно переключалось между несколькими приложениями, такими как электронная почта, календарь и карты. в конце концов, не пошевелив и пальцем, телефон выдал ему разумное предложение.
это может быть идеальное состояние конечных устройств с искусственным интеллектом в будущем: всего одной командой оно может автоматически вызвать необходимое приложение и выполнить желаемую задачу.
в этой демонстрационной сцене мы видим, что все приложения, вызываемые siri, являются официальными приложениями apple. другими словами, он мобилизует своих «членов семьи» для сотрудничества, чтобы что-то сделать. в данном случае система, архитектура, интерфейс, все не является проблемой и не предполагает никаких вопросов типа распределения выгод.
если быть более причудливым, возможно, в будущем siri не будут нуждаться в командных словах, она всегда будет ожидать разговоров в фоновом режиме и даже сможет вмешиваться, когда люди общаются, как настоящий друг.
apple интеллект
можем ли мы продолжать оставаться экологическим королем?
apple использовала метод наименьшего сопротивления, чтобы продемонстрировать идеальный будущий метод взаимодействия с мобильным телефоном с искусственным интеллектом. но если это не ваше собственное приложение, можете ли вы свободно перемещать данные внутри приложения?
на официальной вводной странице apple intelligence есть такое предложение: «если вы используете стандартные инфраструктуры пользовательского интерфейса, api и комплекты разработки, вы можете легко сделать так, чтобы разрабатываемые вами приложения также имели эти функции искусственного интеллекта».
на семинаре wwdc24 разработчики даже могут увидеть, что они могут интегрировать функции искусственного интеллекта в свои приложения всего с помощью трех или четырех строк кода.
здесь есть две части информации: сторонние приложения могут присоединиться к ии, а apple подготовит все комплекты и инструменты, позволяющие разработчикам использовать apple intelligence самым простым способом. это действительно вкусная «закуска».
но если вы хотите получить доступ к apple intelligence, приложения должны передать свои «данные» и стать небольшим членом экосистемы apple. неужели это так просто?
для apple технические прорывы, о которых идет речь в начале статьи, — это простейшие проблемы, а экологические трудности — это большая гора перед apple.
если взаимодействие на мобильном телефоне действительно будет таким, как продемонстрировал крейг, apple станет «королем» с единственным входом, а siri станет единственным «очень влиятельным» человеком вокруг короля, ответственным за решение, какое приложение станет «королем». хочет получить доступ к пользователю. разве вы не хотите просто познакомиться со «своей семьей»?
в этом случае apple станет миром всевозможных суперприложений.
кто будет решать вопрос о распределении льгот? готовы ли бизнес-модели, однажды созданные с помощью суперприложений, быть уничтожены ии в одночасье? эти вопросы еще ждут от нас размышлений.
напиши в конце
siri несет в себе романтическую мечту джобса. описывая свой контакт с джобсом, даг киттлаус, один из основателей siri company, однажды сказал, что они с джобсом «проговорили 3 часа» дома. джобс был полон представлений о будущем искусственного интеллекта. он убедил основателей siri, что «siri в конечном итоге оставит свой след во вселенной».
надпись: даг киттлаус, один из основателей siri
однако на следующий день после выхода siri стив джобс скончался, оставив после себя эту мечту об искусственном интеллекте и siri, которая «бродила много лет».
сегодня кук использует apple intelligence, чтобы вернуть siri в центр внимания, но его мечта может быть иной.
сегодняшняя apple полна реализма — поддерживать технологическое лидерство, эффективную защиту, удерживать цену акций от давления и ждать, пока суперприложения в эпоху искусственного интеллекта обретут форму, прежде чем решить, стоит ли предпринимать какие-либо действия.
однако, хотя все с нетерпением ждут ai-телефонов и aipc, могут появиться более удивительные аппаратные продукты с искусственным интеллектом, которые полностью перепишут историю.
ссылки:
представляем модели apple on-device и server foundation — apple machine learning research
apple intelligence — разработчик apple
представляем apple intelligence для iphone, ipad и mac - apple
блог - частные облачные вычисления: новый рубеж конфиденциальности ии в облаке - apple security research
https://mrmad.com.tw/ios-18-new-function
собирайте и систематизируйте самую свежую новостную информацию и сделайте ее бесплатной для всех.
почта[email protected]