notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapporto sul cuore della macchina

Dipartimento editoriale di Machine Heart

Gli utenti della rete sono curiosi di sapere se Mathstral può risolvere il problema "chi è più grande, 9.11 o 9.9?"

Ieri il circolo dell'intelligenza artificiale è stato sopraffatto da una semplice domanda: "Chi è più grande, 9.11 o 9.9?" I grandi modelli linguistici tra cui OpenAI GPT-4o, Google Gemini, ecc. sono stati tutti ribaltati.

Ciò ci consente di vedere che i modelli linguistici di grandi dimensioni non sono in grado di comprendere e fornire risposte corrette come gli esseri umani quando hanno a che fare con alcuni problemi numerici.

Per problemi matematici numerici e complessi, i modelli specializzati sono più specializzati.

Oggi, il grande modello francese di unicorno Mistral AI ha rilasciato aIl modello 7B "Mathstral" si concentra sul ragionamento matematico e sulla scoperta scientifica, per risolvere problemi matematici avanzati che richiedono un ragionamento logico complesso e in più fasi.

Questo modello è basato su Mistral 7B, supporta una lunghezza della finestra di contesto di 32k e segue il contratto di licenza open source Apache 2.0.

Mathstral è stato creato pensando a un eccellente compromesso tra prestazioni e velocità, una filosofia di sviluppo che Mistral AI promuove attivamente, in particolare con le sue capacità di perfezionamento.

Allo stesso tempo, Mathstral è un modello imperativo che può essere utilizzato o messo a punto. I pesi dei modelli sono stati posizionati su HuggingFace.

• Pesi dei modelli: https://huggingface.co/mistralai/mathstral-7B-v0.1

Il grafico seguente mostra la differenza di prestazioni MMLU tra Mathstral 7B e Mistral 7B per argomento.

Mathstral raggiunge prestazioni di inferenza all'avanguardia sulla sua scala su una varietà di benchmark standard del settore. Soprattutto sul set di dati MATH, ha raggiunto un tasso di successo del 56,6% e un tasso di successo del 63,47% su MMLU.

Allo stesso tempo, il tasso di successo di Mathstral su MATH (56,6%) è superiore di oltre il 20% rispetto a Minerva 540B. Inoltre, Mathstral ha ottenuto il 68,4% su MATH con una maggioranza di 64 voti e il 74,6% utilizzando il modello di ricompensa.

Questo risultato ha anche incuriosito gli utenti della rete chiedendosi se Mathstral possa risolvere il problema "chi è più grande, 9.11 o 9.9?"

Codice Mamba: Codestral Mamba

• Pesi del modello: https://huggingface.co/mistralai/mamba-codestral-7B-v0.1

Rilasciato insieme a Mathstral 7B, esiste anche un modello Codestral Mamba appositamente utilizzato per la generazione del codice, che utilizza l'architettura Mamba2 e segue anche l'accordo di licenza open source Apache 2.0. Si tratta di un modello guida con oltre 7 miliardi di parametri che i ricercatori possono utilizzare, modificare e distribuire gratuitamente.

Vale la pena ricordare che Codestral Mamba è stato progettato con l'aiuto degli autori di Mamba Albert Gu e Tri Dao.

L'architettura Transformer ha sempre supportato metà del campo AI. Tuttavia, a differenza del Transformer, il modello Mamba ha il vantaggio del ragionamento temporale lineare e può teoricamente modellare sequenze di lunghezza infinita. L'architettura consente agli utenti di interagire con il modello in modo ampio e rapido senza essere limitati dalla lunghezza dell'input. Questa efficienza è particolarmente importante per la generazione del codice.

Nei test benchmark, Codestral Mamba ha sovraperformato i modelli open source concorrenti CodeLlama 7B, CodeGemma-1.17B e DeepSeek nel test HumanEval.

Mistral ha testato il modello, che è disponibile gratuitamente sull'API la Plateforme di Mistral, e può gestire input fino a 256.000 token, il doppio del GPT-4o di OpenAI.

Con il rilascio di Codestral Mamba, alcuni utenti della rete lo hanno utilizzato in VSCode ed è molto fluido.