Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Монтажер: Азия Иволга, Big Pan Chicken, Ду Вэй

Спор между открытым исходным кодом и закрытым исходным кодом ведется уже давно и сейчас, возможно, достиг новой кульминации.

Что касается крупных моделей с открытым исходным кодом, серия Llama с момента своего появления является типичным представителем. Ее превосходная производительность и функции с открытым исходным кодом значительно улучшили применимость и доступность технологий искусственного интеллекта. Любой исследователь и разработчик может извлечь из этого выгоду, что сделает исследования и приложения более широкими.

Теперь Meta Llama 3.1 405B официально выпущена. В официальном блоге Meta говорится: «До сегодняшнего дня модели больших языков с открытым исходным кодом в основном отставали от закрытых моделей с точки зрения функциональности и производительности. Теперь мы вступаем в новую эру, возглавляемую открытым исходным кодом».

В то же время основатель и генеральный директор Meta Цукерберг лично написал длинную статью, объясняющую значение открытого исходного кода для всех разработчиков, для Meta и для всего мира. Он сказал, что открытый исходный код является необходимым условием для позитивного развития ИИ. Если взять в качестве примера разработку Unix и Linux, ИИ с открытым исходным кодом будет более способствовать инновациям, защите данных и экономической эффективности.

Он также считает, что модель Llama с открытым исходным кодом может создать полноценную экосистему, обеспечивающую технологический прогресс и не теряющую преимуществ из-за конкуренции. Meta имеет успешную историю открытого исходного кода. С помощью моделей искусственного интеллекта с открытым исходным кодом Цукерберг надеется способствовать равенству и безопасному применению глобальных технологий.

Оригинальная ссылка: https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

Ниже приводится оригинальное содержание:

Цукерберг внедряет в Meta гены с открытым исходным кодом

На заре высокопроизводительных вычислений крупные технологические компании инвестировали значительные средства в разработку собственных версий Unix с закрытым исходным кодом. В то время было трудно представить какой-либо другой способ разработки такого продвинутого программного обеспечения.

Однако Linux с открытым исходным кодом постепенно становился популярным: первоначально потому, что он позволял разработчикам свободно изменять код и был более доступным, но позже он стал более продвинутым, более безопасным и имел более широкую экосистему, чем любая Unix с закрытым исходным кодом, поддерживая больше функций. Сегодня Linux является отраслевым стандартом для облачных вычислений и операционной системой, на которой работает большинство мобильных устройств, и каждый получает выгоду от ее превосходных продуктов.

Я считаю, что развитие искусственного интеллекта пойдет по аналогичной траектории.Сегодня некоторые технологические компании разрабатывают ведущие модели с закрытым исходным кодом, но открытый исходный код быстро сокращает этот разрыв.

В прошлом году Llama 2 можно было сравнить только с моделью старшего поколения. А в этом году Llama 3 уже конкурирует или даже опережает ведущие модели отрасли в некоторых областях. Мы ожидаем, что начиная со следующего года будущие модели Llama станут самыми передовыми большими моделями в отрасли. Llama также является лидером в области открытости, модифицируемости и экономической эффективности.

Сегодня мы делаем следующий шаг — делаем ИИ с открытым исходным кодом отраслевым стандартом. Мы выпустили первую передовую модель искусственного интеллекта с открытым исходным кодом Llama 3.1 405B, а также улучшенные версии моделей Llama 3.1 70B и 8B. По сравнению с моделями с закрытым исходным кодом эти модели с открытым исходным кодом значительно более экономичны, особенно модель 405B с открытым исходным кодом, что делает ее лучшим выбором для тонкой настройки и очистки небольших моделей.

Помимо выпуска этих моделей, мы также работаем с несколькими компаниями над расширением более широкой экосистемы. Amazon, Databricks и Nvidia запускают полные наборы услуг, позволяющие разработчикам настраивать и совершенствовать свои собственные модели. Такие новаторы, как Groq, создали недорогие службы вывода с малой задержкой для всех новых моделей.

Эти модели будут доступны на всех основных облачных платформах, включая AWS, Azure, Google, Oracle и других. Scale.AI, Dell, Deloitte и другие уже готовы помочь предприятиям внедрить Llama и обучать индивидуальные модели, используя собственные данные. По мере того, как сообщество растет и все больше компаний разрабатывают новые услуги, вместе мы сможем сделать Llama отраслевым стандартом и предоставить преимущества ИИ каждому.

Meta привержена искусственному интеллекту с открытым исходным кодом. Вот причины, по которым я считаю открытый исходный код лучшей платформой для разработки, почему Llama с открытым исходным кодом хороша для Meta и почему ИИ с открытым исходным кодом полезен для мира и будет существовать еще долгое время. .

ИИ с открытым исходным кодом для разработчиков

Когда я разговариваю с разработчиками, генеральными директорами и правительственными чиновниками по всему миру, я обычно слышу несколько тем:

• Нам необходимо обучать, настраивать и совершенствовать наши собственные модели. Каждая организация имеет разные потребности, которые лучше всего удовлетворяются с помощью моделей, которые обучены или настроены в разных масштабах и на конкретных данных. Для задач на устройстве и задач классификации требуются небольшие модели, а для более сложных задач — большие модели. Теперь вы можете взять самые современные модели Llama, продолжить их обучение на собственных данных, а затем преобразовать их до размера модели, который лучше всего соответствует вашим потребностям, причем ваши данные не будут видны ни нам, ни кому-либо еще.
• Нам нужно контролировать свою судьбу и не быть «запертыми» поставщиками закрытого исходного кода. Многие организации не хотят полагаться на модель, которую они не могут запустить и контролировать самостоятельно. Они не хотят, чтобы поставщики моделей с закрытым исходным кодом могли изменить модель, изменить условия использования или даже полностью остановить службу. Они также не хотят быть привязанными к одной облачной платформе с эксклюзивными правами на свои модели. Открытый исходный код обеспечивает широкую экосистему совместимых цепочек инструментов, между которыми вы можете легко переключаться.
• Нам необходимо защитить наши данные. Многие организации обрабатывают конфиденциальные данные, которые необходимо защищать и которые нельзя отправить в модель с закрытым исходным кодом через облачные API. Некоторые организации просто не доверяют поставщикам моделей с закрытым исходным кодом свои данные. Открытый исходный код решает эти проблемы, поскольку позволяет запускать модель где угодно. Хорошо известно, что программное обеспечение с открытым исходным кодом более безопасно, поскольку процесс разработки более прозрачен.
• Нам нужна модель, которая будет эффективной и экономичной.Разработчики могут запускать Llama 3.1 405B в своей собственной инфраструктуре для вывода примерно за 50 % стоимости использования моделей с закрытым исходным кодом (таких как GPT-4), подходящих для задач вывода на стороне пользователя и в автономном режиме.
• Мы хотим инвестировать в экосистемы, которые станут долгосрочным стандартом.Многие видят, что открытый исходный код развивается быстрее, чем закрытые модели, и хотят построить свои системы на архитектуре, которая обеспечит наибольшие преимущества в долгосрочной перспективе.

ИИ с открытым исходным кодом для Meta

Бизнес-модель Meta заключается в создании лучшего опыта и услуг для людей. Чтобы добиться этого, мы должны обеспечить, чтобы у нас всегда был доступ к лучшим технологиям, а не замыкались в закрытой экосистеме конкурентов, чтобы они не могли ограничивать то, что мы разрабатываем.

Я хочу поделиться важным опытом: хотя Apple позволяет нам создавать контент на своей платформе, мы по-прежнему ограничены в создании сервисов. Будь то налоги, которые они налагают на разработчиков, произвольные правила, которые они навязывают, или все инновации в продуктах, которые они предотвращают, ясно, что если мы сможем создать лучшую версию нашего продукта, а конкуренты не смогут ограничить то, что мы создаем, Мета и многие другие компании смогут предоставлять людям более качественные услуги. На философском уровне это важная причина, почему я так твердо верю в создание открытой экосистемы для компьютеров следующего поколения в области искусственного интеллекта и дополненной и виртуальной реальности.

Люди часто спрашивают меня, не беспокоюсь ли я о потере технического преимущества из-за открытого исходного кода Llama, но я думаю, что это упускает из виду более широкую картину по нескольким причинам:

Во-первых, чтобы гарантировать, что мы сможем сохранить технологическое лидерство в долгосрочной перспективе и не быть запертыми в экосистеме с закрытым исходным кодом, Llama необходимо превратиться в полноценную экосистему, включая инструменты, повышение эффективности, оптимизацию оборудования и другие интеграции. Если бы наша компания была единственной компанией, использующей Llama, экосистема не развивалась бы, и наше положение было бы не лучше, чем при использовании вариантов Unix с закрытым исходным кодом.

Во-вторых, я ожидаю, что разработка ИИ по-прежнему будет высококонкурентной, а это означает, что открытый исходный код модели в любой момент не будет стоить нам огромного преимущества в конкуренции со следующей лучшей моделью.Путь Llama к тому, чтобы стать отраслевым стандартом, — это оставаться конкурентоспособными, эффективными и открытыми поколение за поколением.

В-третьих, ключевое различие между поставщиками мета-моделей и моделями с закрытым исходным кодом заключается в том, что продажа доступа к моделям ИИ не является нашей бизнес-моделью. Это означает, что публичный выпуск Llama не ухудшит наши доходы, устойчивость или способность инвестировать в исследования, в отличие от поставщиков с закрытым исходным кодом. (Это одна из причин, почему некоторые поставщики закрытых исходных кодов лоббируют государственных администраторов против открытого исходного кода.)

Наконец, Meta имеет богатый успешный опыт работы с проектами с открытым исходным кодом. Мы сэкономили миллиарды долларов, поделившись проектами наших серверов, сетей и центров обработки данных с проектом Open Compute Project и стандартизировав цепочку поставок. Открывая ведущие инструменты с открытым исходным кодом, такие как PyTorch, React и другие, мы получаем большую выгоду от инноваций в экосистеме. Этот подход уже давно оказался чрезвычайно эффективным.

ИИ с открытым исходным кодом для всего мира

Я считаю, что открытый исходный код необходим для будущего искусственного интеллекта. ИИ имеет больший потенциал, чем любая другая современная технология, для повышения производительности, творчества и качества жизни человека, а также для продвижения медицинских и научных исследований, одновременно ускоряя экономический рост.Открытый исходный код гарантирует, что больше людей во всем мире смогут получить преимущества и возможности от развития ИИ, что власть не будет сосредоточена в руках нескольких компаний, и что технологии смогут более равномерно и безопасно распространяться в обществе.

Продолжаются споры о безопасности моделей искусственного интеллекта с открытым исходным кодом. Я хочу сказать, что ИИ с открытым исходным кодом будет безопаснее, чем альтернативы. Я думаю, что правительства в конечном итоге придут к выводу, что они поддерживают открытый исходный код, потому что это сделает мир более процветающим и безопасным.

Насколько я понимаю, в рамках безопасности нам необходимо защищаться от двух типов вреда: непреднамеренного и преднамеренного.

• Непреднамеренный вред означает возможность того, что система ИИ может непреднамеренно причинить вред во время работы. Например, современные модели искусственного интеллекта могут непреднамеренно давать неправильные советы по здоровью. Или, в будущих сценариях, есть опасения, что модели могут непреднамеренно копировать себя или чрезмерно оптимизировать цели в ущерб людям.
• Умышленный вред — это когда злоумышленники используют модель ИИ с намерением причинить вред.

Стоит отметить, что непреднамеренный вред охватывает большую часть опасений людей по поводу ИИ — от воздействия систем ИИ на миллиарды пользователей до самых поистине катастрофических сценариев научной фантастики. В этом отношении безопасность, обеспечиваемая открытым исходным кодом, еще более важна, поскольку система более прозрачна и может быть тщательно проверена.

Исторически по этой причине программное обеспечение с открытым исходным кодом было более безопасным. Аналогичным образом, использование Llama и ее систем безопасности, таких как Llama Guard, может быть безопаснее и надежнее, чем модель с закрытым исходным кодом. В результате большинство дискуссий о безопасности ИИ с открытым исходным кодом сосредоточено на умышленном причинении вреда.

Наш процесс обеспечения безопасности включает в себя тщательное тестирование и оценку красной командой, чтобы проверить, могут ли наши модели нанести материальный ущерб, с целью снижения рисков перед выпуском. Поскольку эти модели имеют открытый исходный код, каждый может протестировать их самостоятельно. Надо иметь в виду, что эти модели обучаются на информации, уже доступной в Интернете, поэтому при рассмотрении вреда отправной точкой должно быть то, может ли модель причинить больший вред, чем информация, быстро полученная из Google или других результатов поиска.

Рассуждения о намеренном вреде были бы полезны, если бы мы отличали то, что могут сделать отдельные или мелкие субъекты, от того, что могут сделать крупные субъекты с огромными ресурсами, такие как государства.

В какой-то момент в будущем отдельные злоумышленники смогут использовать интеллект моделей искусственного интеллекта для создания новых видов вреда на основе информации, уже доступной в Интернете. На данный момент баланс сил имеет решающее значение для безопасности ИИ.

Я думаю, что было бы лучше жить в мире, где широко используется ИИ, позволяющий крупным субъектам уравновешивать мелких злонамеренных субъектов. Точно так же мы управляем безопасностью в социальных сетях: более мощные системы искусственного интеллекта выявляют и блокируют менее опытных участников, которые часто используют менее масштабные системы искусственного интеллекта.

В более широком смысле, крупные учреждения будут способствовать безопасности и стабильности общества, когда они развернут ИИ в больших масштабах. Пока у каждого есть доступ к модели, подобной поколениям, правительства и учреждения, обладающие большим количеством вычислительных ресурсов, смогут противодействовать злоумышленникам меньшими вычислительными ресурсами.

Рассматривая будущие возможности, помните, что большинство сегодняшних ведущих технологических компаний и научных исследований построены на программном обеспечении с открытым исходным кодом. Если мы вместе инвестируем в искусственный интеллект с открытым исходным кодом, следующее поколение компаний и исследователей получит к нему доступ. Сюда входят стартапы, которые только начинают свою деятельность, а также люди в университетах и ​​странах, у которых может не быть ресурсов для разработки SOTA AI с нуля.

В совокупности искусственный интеллект с открытым исходным кодом представляет собой максимально возможное глобальное использование этой технологии для создания экономических возможностей и безопасности для всех.

Сотрудничество стабильно, открытый исходный код имеет далеко идущие последствия

В предыдущих моделях Llama компания Meta выпускала эти модели для собственных разработок, не концентрируясь на создании более широкой экосистемы. Для этого запуска мы применили другой подход. Мы формируем внутренние команды, чтобы сделать Llama доступной как можно большему числу разработчиков и партнеров, и активно налаживаем партнерские отношения, чтобы больше компаний в экосистеме могли предлагать своим клиентам уникальные возможности.

Я считаю, что выпуск Llama 3.1 станет поворотным моментом в отрасли, и большинство разработчиков начнут использовать технологию с открытым исходным кодом, и я предсказываю, что этот подход начнется с нашего открытого исходного кода.

Я надеюсь, что мы сможем работать вместе, чтобы принести миру преимущества ИИ.

Вы можете получить доступ к этим моделям сейчас на llama.meta.com.

Марк Цукерберг