Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Редакция «Машинное сердце»

Пользователи сети интересуются, сможет ли Mathstral решить проблему «кто больше: 9,11 или 9,9?»

Вчера круг ИИ был ошеломлен простым вопросом: «Кто больше, 9.11 или 9.9?» Все большие языковые модели, включая OpenAI GPT-4o, Google Gemini и т. д., были отменены.

Это позволяет нам увидеть, что большие языковые модели не могут понимать и давать правильные ответы, как люди, при решении некоторых числовых задач.

Для численных и сложных математических задач специализированные модели более специализированы.

Сегодня французская крупная модель единорога Mistral AI выпустилаМодель 7B «Матстрал» фокусируется на математических рассуждениях и научных открытиях., для решения сложных математических задач, требующих сложных, многоэтапных логических рассуждений.

Эта модель построена на базе Mistral 7B, поддерживает длину контекстного окна 32 КБ и соответствует лицензии Apache 2.0 с открытым исходным кодом.

Mathstral был создан с учетом превосходного компромисса между производительностью и скоростью, философии разработки, которую Mistral AI активно продвигает, особенно благодаря своим возможностям тонкой настройки.

В то же время Mathstral — это императивная модель, которую можно использовать или дорабатывать. Вес моделей был размещен на HuggingFace.

• Вес модели: https://huggingface.co/mistralai/mathstral-7B-v0.1

На графике ниже показана разница в производительности MMLU между Mathstral 7B и Mistral 7B по темам.

Mathstral достигает самой современной производительности вывода в своем масштабе на множестве стандартных отраслевых тестов. Особенно в наборе данных MATH он достиг показателя успешности 56,6% и 63,47% по MMLU.

При этом процент сдачи Mathstral по MATH (56,6%) более чем на 20% выше, чем у Minerva 540B. Кроме того, Mathstral набрала 68,4% по MATH при большинстве голосов = 64 и 74,6% при использовании модели вознаграждения.

Этот результат также вызвал у пользователей сети любопытство относительно того, сможет ли Mathstral решить проблему «кто больше: 9,11 или 9,9?»

Код Мамба: Кодестрал Мамба

• Вес модели: https://huggingface.co/mistralai/mamba-codestral-7B-v0.1

Выпущенная вместе с Mathstral 7B, существует также модель Codestral Mamba, специально используемая для генерации кода, которая использует архитектуру Mamba2 и также соответствует лицензионному соглашению Apache 2.0 с открытым исходным кодом. Это модель руководства с более чем 7 миллиардами параметров, которую исследователи могут использовать, изменять и распространять бесплатно.

Стоит отметить, что Codestral Mamba был разработан с помощью авторов Mamba Альберта Гу и Три Дао.

Архитектура Transformer всегда поддерживала половину области искусственного интеллекта. Однако, в отличие от Transformer, модель Mamba обладает преимуществом линейного времени и теоретически может моделировать последовательности бесконечной длины. Архитектура позволяет пользователям широко и быстро взаимодействовать с моделью, не ограничиваясь длиной входных данных. Эта эффективность особенно важна для генерации кода.

В тестах производительности Codestral Mamba превзошла конкурирующие модели с открытым исходным кодом CodeLlama 7B, CodeGemma-1.17B и DeepSeek в тесте HumanEval.

Mistral протестировал модель, которая доступна бесплатно через API La Plateforme от Mistral и может обрабатывать входные данные до 256 000 токенов — в два раза больше, чем GPT-4o OpenAI.

После выпуска Codestral Mamba некоторые пользователи сети использовали его в VSCode, и он работает очень гладко.