Новости

Llama 3.1, European OpenAI, выпускает новую модель с открытым исходным кодом Large 2 |

2024-07-26

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Автор | Ван Исинь

Редактор|Анита Танг

Менее чем через день после того, как Meta выпустила последнюю большую модель с открытым исходным кодом Llama 3.1, французский стартап в области искусственного интеллекта Mistral приступил к ее запуску — 24 июля Mistral выпустила свою новую флагманскую модель Large 2.

Mistral AI — французская стартап-компания, занимающаяся искусственным интеллектом, которая была основана всего один год. На данный момент она также является наиболее хорошо финансируемым и конкурентоспособным игроком в сфере искусственного интеллекта в Европе. Ее основные члены представляют ведущие институты искусственного интеллекта, такие как Google DeepMind и другие. как Ляньчуанг Менш. Авторы крупных модельных статей, таких как Chinchilla, предложили основные технологии, включая законы масштабирования.

Всего через 4 недели после своего создания в июне 2023 года Mistral AI получила финансирование в размере 105 миллионов евро вместе с командой из 6 человек. Компания специализируется на исследованиях и разработке больших моделей с открытым исходным кодом и была оценена президентом Франции Макроном как «модель нового поколения европейских стартапов, способных конкурировать с американскими технологическими гигантами».

В декабре 2023 года компания Mistral выпустила большую модель с открытым исходным кодом под названием Mistral 8x7B, которая имеет 56 миллиардов параметров. Ее эффективность и производительность сопоставимы с LLaMA-65B, и она мгновенно стала хитом в индустрии больших моделей. Кроме того, компания также протестировала ChatGPT и запустила многоязычный помощник для общения под названием Le Chat (на официальном сайте указано, что он все еще находится на этапе тестирования и требует регистрации и подачи заявки для проверки квалификации), чтобы продемонстрировать новейшие технические возможности компании.

Мистраль заявил, что Large 2 превзошел Llama 3.1 405B по возможностям генерации кода, математических вычислений и рассуждений, используя менее одной трети параметров Llama 3.1 405B, или 123 миллиарда параметров, и превзошел другие ведущие модели ИИ в генерировании ответов. Более краткий, избегающий. слишком много длинных описаний. Это означает, что Large 2 имеет больше преимуществ с точки зрения стоимости, и разработчики могут быстрее запускать его локально.

Как и Llama 3.1 от Meta, Large 2 не обладает мультимодальными возможностями, но с точки зрения точности и надежности диалоговых ответов его можно сравнить с Llama «немного больше». Мистраль рассказал, что проблема галлюцинаций модели была одним из фокусов в процессе обучения Большого 2. Кроме того, Large 2 также улучшает выполнение команд и диалоговых задач, обрабатывая точные инструкции и длинные многоходовые разговоры.

Большой 2 имеет длину контекста 128 тыс. и может принять примерно столько же символов, сколько 300-страничная книга за один разговор. Кроме того, Large 2 поддерживает несколько языков и может работать с английским, французским, немецким, испанским, итальянским, португальским, арабским, хинди, русским, китайским, японским и корейским, а также с 80 языками кода.


Источник: официальный сайт Мистраля.

Следует отметить, что модель Mistral не является моделью с открытым исходным кодом в традиционном понимании, и коммерческое использование требует оплаты.

В настоящее время Large 2 доступен для использования пользователями на платформах Google, Amazon, Azure и IBM. Пользователи также могут испытать его с помощью «mistral-large-2407» на La Plateforme от Mistral (комплексной платформе, которая упрощает разработку приложений искусственного интеллекта и предоставляет предварительно обученные модели, инструменты обработки данных и интерфейсы API) или бесплатно протестировать его на Le Chat.

Mistral завершила финансирование серии B в июне этого года, собрав в общей сложности 640 миллионов долларов США при оценке в 6 миллиардов долларов США. Этот раунд финансирования возглавил General Catalyst, а в число инвесторов также входят Lightspeed Venture Partners, Andreessen Horowitz, Nvidia, Samsung Ventures и IBM.

В настоящее время в Mistral AI работает около 60 сотрудников, 45 из которых находятся во Франции, 10 в США и пять в Великобритании. По данным Financial Times, около трех четвертей ее сотрудников занимаются разработкой продуктов и исследованиями.