Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Умные вещи (паблик аккаунт:zhidxcom）
компилироватьваниль
редактироватьЛи Шуйцин

Семейство небольших моделей Google DeepMind с открытым исходным кодом приветствует новых участников!

Чжидунчжи сообщил 1 августа, что рано утром Google DeepMind открыл исходный код легкой модели Gemma 2 2B. Ее оценка на арене больших моделей превзошла модели с более крупными параметрами, такие как GPT-3.5 и Llama 2 70B.

▲Джемма 2 2Б

Имея всего 2 миллиарда параметров, Gemma 2 2B может легко и быстро работать на мобильных телефонах, ПК и других терминальных устройствах. Согласно фактическому тестированию, проведенному разработчиками в Google AI Studio, скорость вывода достигает 30–40 токенов/с.

▲Разработчики тестируют Gemma 2 2B

Вместе с Gemma 2 2B запущены Gemma Scope, инструмент для улучшения интерпретируемости модели, и ShieldGemma, модель классификации безопасности для фильтрации вредоносного контента.

Gemma Scope основана на разреженном автоэнкодере (SAE) для усиления определенных точек модели и использует архитектуру JumpReLU для ее оптимизации, тем самым помогая анализировать плотную и сложную информацию, обрабатываемую в модели, позволяя исследователям «видеть» модель как микроскоп внутренний.

ShieldGemma рассчитана на четыре области вреда: высказывания, разжигающие ненависть, преследование, порнографический контент и опасный контент, и превосходит эталонные модели, такие как GPT-4, в тестах на реакцию.

Серия моделей Gemma, первоначально выпущенная в феврале этого года, представляет собой модели с открытым исходным кодом, созданные Google DeepMind на основе опыта модели Gemini. В июне Google выпустила модель Gemma 2 с открытым исходным кодом второго поколения, включающую два размера параметров: 9B и 27B. Среди них модель 27B быстро вышла на передний план среди моделей с открытым исходным кодом на арене больших моделей LMSYS.

1. Победить большую модель с параметрами в 35 раз больше, что не является проблемой для Джеммы 2.

Gemma 2 2B является усовершенствованной версией более крупной модели и является третьей моделью Gemma 2, выпущенной Google, после 27B и 9B.

Будучи легкой моделью, имеющей всего 2 миллиарда параметров, Gemma 2 2B не жертвует производительностью ради портативности. В рейтинге LMSYS Large Model Arena (Chatbot Arena) Gemma 2 2B превзошла GPT-3.5 с результатом 1126 баллов, а также ее модели Mixtral 8x7B и Llama 2 70B с превышением шкалы параметров в десятки раз.

▲Результаты Gemma 2 2B на арене больших моделей

Некоторые пользователи сети проверили проблему «опрокидывания» Gemma 2 2B с соотношением 9,9 и 9,11 на многих крупных моделях, и Gemma 2 2B быстро дала правильный ответ.

▲Джемма 2 2B ответы

Скорость бега – большое преимущество легких моделей. Как именно быстро? Исследователь машинного обучения Apple Ауни Ханнун протестировал Gemma 2 2B на MLX Swift на своем iPhone 15 pro, и скорость вывода была заметно высокой.

▲Скорость бега Gemma 2 2B

После фактического тестирования разработчик Том Хуанг заявил, что скорость его работы в Google AI Studio составляет около 30–40 токенов/с, что «быстрее, чем у модели Apple».

Что касается развертывания, Gemma 2 2B предоставляет гибкие методы развертывания и может эффективно работать на различном оборудовании, включая периферийные устройства, ноутбуки или облачное развертывание на основе Vertex AI.

Разработчики могут загрузить вес модели Gemma 2 2B на такие платформы, как Hugging Face и Kaggle, для исследовательских и коммерческих приложений или опробовать ее функции в Google AI Studio.

Адрес открытого исходного кода:

https://huggingface.co/google/gemma-2-2b

два,Создайте классификатор для четырех типов контента с частотой ответов выше, чем у GPT-4.

Чтобы повысить безопасность и доступность модели, Google запустил ShieldGemma, набор моделей безопасного классификатора контента, построенных на Gemma 2, который используется для фильтрации входных и выходных данных модели AI. существующие модели в наборе ответственных инструментов искусственного интеллекта Google. Дополнение к набору классификаторов безопасности.

▲Как работает ShieldGemma

ShieldGemma создана для четырех областей вреда: высказывания, разжигающие ненависть, преследование, порнографический контент и опасный контент, и предоставляет различные размеры моделей для удовлетворения различных потребностей, включая 2B, 9B и 27B. Среди них модель параметров 2B подходит для задач онлайн-классификации, а версии 9B и 27B используются для обеспечения более высокой производительности для автономных приложений.

По результатам оценки наборов внешних данных ShieldGemma превзошла базовые модели, такие как OpenAI Mod и GPT-4.

▲Результаты оценки ShieldGemma

Одновременно с этим был обнародован технический отчет ShieldGemma, в котором объяснялся метод построения, источник данных и эффективность модели. В тесте на реакцию на четыре типа вредоносного контента скорость ответа ShieldGemma по трем шкалам лучше, чем у GPT-4.

▲Тест реакции ShieldGemma

Адрес технического отчета:

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

три,«Микроскоп» внутри больших моделей для анализа поведения модели с нулевым кодом.

Чтобы изучить внутренние принципы работы языковых моделей, Google запустил комплексный и открытый разреженный автокодировщик Gemma Scope. Он действует как микроскоп, помогая исследователям «заглянуть» внутрь модели и лучше понять, как она работает.

Gemma Scope усиливает определенные точки модели с помощью разреженных автоэнкодеров (SAE). Эти SAE помогают анализировать плотную и сложную информацию, обрабатываемую в модели, преобразуя ее в форму, которую легче анализировать и понимать.

▲Стилизованное представление активации модели с использованием интерпретации SAE.

Изучая эти расширенные представления, исследователи смогут понять, как Gemma 2 распознает закономерности, обрабатывает информацию и, в конечном итоге, делает прогнозы, изучая, как создавать системы искусственного интеллекта, которые легче понять, которые более надежны и надежны.

Раньше исследования SAE в основном были сосредоточены на изучении внутренней работы одного слоя миниатюрной или большой модели. Прорыв Gemma Scope заключается в том, что он обучает SAE на каждом уровне и подуровне выходных данных модели Gemma 2. Он создал более 400 SAE и изучил более 30 миллионов функций.

▲Пример активации функции обнаружения SAE Gemma Scope

Gemma Scope также использует для обучения новую архитектуру JumpReLU SAE. В исходной архитектуре SAE сложно сбалансировать две цели: определение присутствующих функций и оценку их силы. Архитектура JumpReLU позволяет легче достичь этого баланса, значительно уменьшая количество ошибок.

Gemma Scope открыла в общей сложности более 400 бесплатных SAE, охватывающих все уровни Gemma 2 2B и 9B, и предоставляет интерактивные демонстрации. Исследователи могут изучать характеристики SAE и анализировать поведение модели без написания кода.

▲Интерактивная демонстрация Gemma Scope

Демо-адрес:

https://www.neuronpedia.org/gemma-scope

Адрес технического отчета:

https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

Вывод: генеративныйИИВетер дует в сторону маленькой модели иИИБезопасность

С момента разработки генеративного ИИ модель прошла путь от «объемных» параметров и «объемного» масштаба к «объемной» легкости и «объемной» безопасности, что отражает то, что в процессе внедрения технологии она ближе к пользователям, ниже стоимость. и лучше способны удовлетворять конкретные потребности.

Компьютеры с искусственным интеллектом и мобильные телефоны с искусственным интеллектом постепенно входят в жизнь потребителей. В этом процессе вопрос о том, как «упаковать» большие модели в компактные терминальные устройства, обеспечивая при этом конфиденциальность и безопасность пользователей, является актуальной проблемой, которую необходимо решить крупным производителям искусственного интеллекта.