Nachricht

Llama 3.1, „European OpenAI“ veröffentlicht neues Open-Source-Modell Large 2 |

2024-07-26

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autor |. Wang Yixin

Herausgeberin|Anita Tang

Weniger als einen Tag, nachdem Meta das neueste Open-Source-Großmodell Llama 3.1 veröffentlicht hatte, kam das französische KI-Startup Mistral, um den Startschuss zu geben – am 24. Juli veröffentlichte Mistral sein neues Flaggschiffmodell Large 2.

Mistral AI ist ein französisches KI-Startup-Unternehmen, das gerade erst vor einem Jahr gegründet wurde. Es ist außerdem der bislang finanzstärkste und wettbewerbsfähigste KI-Akteur in Europa. Seine Kernmitglieder kommen von führenden KI-Institutionen wie Google DeepMind wie Lianchuang Mensch. Autoren großer Modellpapiere wie Chinchilla haben Kerntechnologien einschließlich Skalierungsgesetzen vorgeschlagen.

Nur 4 Wochen nach seiner Gründung im Juni 2023 erhielt Mistral AI mit einem 6-köpfigen Team eine Finanzierung in Höhe von 105 Millionen Euro. Das Unternehmen konzentriert sich auf die Forschung und Entwicklung großer Open-Source-Modelle und wurde vom französischen Präsidenten Macron als „Modell für eine neue Generation europäischer Start-ups im Wettbewerb mit amerikanischen Technologiegiganten“ gelobt.

Im Dezember 2023 veröffentlichte Mistral ein Open-Source-Großmodell namens Mistral 8x7B, das über 56 Milliarden Parameter verfügt. Seine Effizienz und Leistung sind mit LLaMA-65B vergleichbar und es wurde sofort ein Hit in der Großmodellbranche. Darüber hinaus hat das Unternehmen auch ChatGPT einem Benchmarking unterzogen und einen mehrsprachigen Konversationsassistenten namens Le Chat eingeführt (die offizielle Website zeigt, dass er sich noch in der Testphase befindet und eine Registrierung und Bewerbung für Testqualifikationen erfordert), um die neuesten technischen Fähigkeiten des Unternehmens zu präsentieren.

Mistral sagte, dass Large 2 Llama 3.1 405B in Bezug auf Codegenerierung, Mathematik und Argumentationsfähigkeiten mit weniger als einem Drittel der Parameter von Llama 3.1 405B oder 123 Milliarden Parametern übertraf und andere führende KI-Modelle bei der Generierung prägnanterer und vermeidender Antworten übertraf zu viele lange Beschreibungen. Das bedeutet, dass Large 2 mehr Kostenvorteile bietet und Entwickler es lokal schneller ausführen können.

Wie Metas Llama 3.1 verfügt Large 2 nicht über multimodale Fähigkeiten, kann aber in Bezug auf die Genauigkeit und Zuverlässigkeit der Dialogantworten mit Llamas „Klein ist größer“ verglichen werden. Mistral sagte, dass das Halluzinationsproblem des Modells einer der Schwerpunkte während des Trainingsprozesses von Large 2 war. Darüber hinaus verbessert Large 2 auch die Befehlsfolge und Konversationsaufgaben, indem es präzise Anweisungen und lange Gespräche mit mehreren Runden bewältigt.

Large 2 hat eine Kontextlänge von 128 KB und kann in einem einzigen Gespräch ungefähr so ​​viele Zeichen empfangen wie ein 300-seitiges Buch. Darüber hinaus unterstützt Large 2 mehrere Sprachen und beherrscht Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Arabisch, Hindi, Russisch, Chinesisch, Japanisch und Koreanisch sowie 80 Codesprachen.


Quelle: Offizielle Mistral-Website

Es sollte darauf hingewiesen werden, dass Mistrals Modell kein Open-Source-Modell im herkömmlichen Sinne ist und die kommerzielle Nutzung kostenpflichtig ist.

Derzeit ist Large 2 für Benutzer auf den Plattformen von Google, Amazon, Azure und IBM verfügbar. Benutzer können es auch über „mistral-large-2407“ auf Mistrals La Plateforme (einer umfassenden Plattform, die die Entwicklung von KI-Anwendungen vereinfacht und vorab trainierte Modelle, Datenverarbeitungstools und API-Schnittstellen bereitstellt) erleben oder es kostenlos auf Le Chat testen.

Mistral schloss im Juni dieses Jahres die Finanzierung der Serie B ab und sammelte dabei insgesamt 640 Millionen US-Dollar und einen Wert von 6 Milliarden US-Dollar. Diese Finanzierungsrunde wurde von General Catalyst angeführt, zu den Investoren zählen außerdem Lightspeed Venture Partners, Andreessen Horowitz, Nvidia, Samsung Ventures und IBM.

Mistral AI beschäftigt derzeit etwa 60 Mitarbeiter, davon 45 in Frankreich, 10 in den Vereinigten Staaten und fünf im Vereinigten Königreich. Nach Angaben der Financial Times arbeiten rund drei Viertel der Mitarbeiter in der Produktentwicklung und Forschung.