Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Redaktion von Machine Heart

Machen Sie Ihre GPU bereit!

Llama 3.1 ist endlich erschienen, aber die Quelle ist nicht offiziell von Meta.

Heute gingen die durchgesickerten Nachrichten über das neue Llama-Modell auf Reddit viral.Zusätzlich zum Basismodell sind auch Benchmark-Ergebnisse von 8B, 70B und der größte Parameter von 405B enthalten。

Die folgende Abbildung zeigt die Vergleichsergebnisse jeder Version von Llama 3.1 mit OpenAI GPT-4o und Llama 3 8B/70B. kann gesehen werden,Sogar die 70B-Version übertrifft GPT-4o in mehreren Benchmarks。

Bildquelle: https://x.com/mattshumer_/status/1815444612414087294

Offensichtlich sind die 8B- und 70B-Modelle der Version 3.1 aus 405B destilliert, sodass es im Vergleich zur Vorgängergeneration zu einer deutlichen Leistungsverbesserung kommt.

Einige Internetnutzer sagten, dass dies der Fall seiZum ersten Mal übertraf das Open-Source-Modell Closed-Source-Modelle wie GPT4o und Claude Sonnet 3.5 und erreichte bei mehreren Benchmarks SOTA.。

Gleichzeitig ist die Modellkarte von Llama 3.1 durchgesickert, und auch die Details sind durchgesickert (das auf der Modellkarte markierte Datum zeigt, dass sie auf der Veröffentlichung vom 23. Juli basiert).

Jemand hat die folgenden Highlights zusammengefasst:

• Das Modell verwendet 15T+ Token aus öffentlichen Quellen für das Training, und die Frist für die Daten vor dem Training ist Dezember 2023;
• Zu den Feinabstimmungsdaten gehören der öffentlich verfügbare Datensatz zur Feinabstimmung von Anweisungen (im Gegensatz zu Llama 3) und 15 Millionen synthetische Proben.
• Das Modell unterstützt mehrere Sprachen, darunter Englisch, Französisch, Deutsch, Hindi, Italienisch, Portugiesisch, Spanisch und Thailändisch.

Bildquelle: https://x.com/iScienceLuvr/status/1815519917715730702

Obwohl der durchgesickerte Github-Link derzeit 404 ist, haben einige Internetnutzer den Download-Link angegeben (aus Sicherheitsgründen wird jedoch empfohlen, heute Abend auf die offizielle Kanalankündigung zu warten):

Dies ist jedoch ein großes Modell mit einer Größenordnung von Hunderten von Milliarden. Bereiten Sie daher vor dem Herunterladen ausreichend Festplattenspeicher vor:

Im Folgenden sind die wichtigen Inhalte der Llama 3.1-Modellkarte aufgeführt:

Grundlegende Informationen zum Modell

Das Meta Llama 3.1 Multilingual Large Language Model (LLM)-Ensemble ist ein Satz vorab trainierter und durch Anweisungen fein abgestimmter generativer Modelle der Größen 8B, 70B und 405B (Texteingabe/Textausgabe). Die auf Befehle von Llama 3.1 optimierten Nur-Text-Modelle (8B, 70B, 405B) sind für mehrsprachige Konversationsanwendungsfälle optimiert und übertreffen viele verfügbare Open-Source- und Closed-Source-Chat-Modelle bei gängigen Branchen-Benchmarks.

Modellarchitektur: Llama 3.1 ist ein optimiertes autoregressives Sprachmodell der Transformer-Architektur. Die optimierte Version verwendet SFT und RLHF, um Benutzerfreundlichkeit und Sicherheitspräferenzen aufeinander abzustimmen.

Unterstützte Sprachen: Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch.

Dies lässt sich aus den Modellkarteninformationen ableitenModelle der Llama 3.1-Serie haben eine Kontextlänge von 128 KB . Alle Modellversionen verwenden Grouped Query Attention (GQA), um die Skalierbarkeit der Inferenz zu verbessern.

erwartete Nutzung

Beabsichtigte Anwendungsfälle. Llama 3.1 ist für den Einsatz in mehrsprachigen Geschäftsanwendungen und Forschung gedacht. Auf Anweisungen abgestimmte Nur-Text-Modelle eignen sich für assistentenähnliche Chats, während vorab trainierte Modelle an eine Vielzahl von Aufgaben zur Erzeugung natürlicher Sprache angepasst werden können.

Der Llama 3.1-Modellsatz unterstützt auch die Möglichkeit, seine Modellausgabe zur Verbesserung anderer Modelle zu nutzen, einschließlich der Generierung und Destillation synthetischer Daten. Die Llama 3.1 Community-Lizenz ermöglicht diese Anwendungsfälle.

Llama 3.1 trainiert auf einer größeren Anzahl von Sprachen als den 8 unterstützten Sprachen. Entwickler können Llama 3.1-Modelle für andere Sprachen als die 8 unterstützten Sprachen verfeinern, sofern sie der Llama 3.1 Community-Lizenzvereinbarung und der Richtlinie zur akzeptablen Nutzung entsprechen, und sind in solchen Fällen dafür verantwortlich, sicherzustellen, dass andere Sprachen verwendet werden eine sichere und verantwortungsvolle Art und Weise Sprache Lama 3.1.

Software- und Hardware-Infrastruktur

Das erste ist das Trainingselement. Llama 3.1 nutzt eine benutzerdefinierte Trainingsbibliothek, den angepassten GPU-Cluster und die Produktionsinfrastruktur für das Vortraining. Es wird auch auf der Produktionsinfrastruktur optimiert.

Der zweite Punkt betrifft den Energieverbrauch des Trainings. Beim Llama 3.1-Training werden auf Hardware vom Typ H100-80 GB (TDP 700 W) insgesamt 39,3 Mio. GPU-Stunden benötigt. Hier ist die Trainingszeit die gesamte GPU-Zeit, die zum Trainieren jedes Modells erforderlich ist, und der Stromverbrauch ist die Spitzenleistungskapazität jedes GPU-Geräts, angepasst an die Energieeffizienz.

Schulung zum Thema Treibhausgasemissionen. Die gesamten Treibhausgasemissionen, basierend auf geografischen Benchmarks, während der Llama 3.1-Trainingszeit werden auf 11.390 Tonnen CO2-Äquivalent geschätzt. Seit 2020 hält Meta in seinen weltweiten Betrieben Netto-Treibhausgasemissionen von Null aufrecht und deckt 100 % seines Stromverbrauchs mit erneuerbarer Energie ab, was während des Schulungszeitraums zu marktbasierten Treibhausgasemissionen von insgesamt 0 Tonnen CO2e führt.

Die Methoden zur Ermittlung des Trainingsenergieverbrauchs und der Treibhausgasemissionen finden Sie im folgenden Dokument. Da Meta diese Modelle öffentlich veröffentlicht, müssen andere nicht die Last der Schulung des Energieverbrauchs und der Treibhausgasemissionen tragen.

Papieradresse: https://arxiv.org/pdf/2204.05149

Trainingsdaten

Überblick: Llama 3.1 ist vorab mit etwa 15 Billionen Token-Daten aus öffentlichen Quellen trainiert. Zu den Feinabstimmungsdaten gehören öffentlich verfügbare Befehlsdatensätze und über 25 Millionen synthetisch generierte Beispiele.

Aktualität der Daten: Die Frist für Pre-Training-Daten endet im Dezember 2023.

Benchmark-Score

In diesem Abschnitt berichtet Meta über die Bewertungsergebnisse des Llama 3.1-Modells im Annotations-Benchmark. Für alle Auswertungen nutzt Meta interne Auswertungsbibliotheken.

Überlegungen zum Sicherheitsrisiko

Das Forschungsteam von Llama ist bestrebt, der Forschungsgemeinschaft wertvolle Ressourcen zur Verfügung zu stellen, um die Robustheit sicherer Feinabstimmung zu untersuchen und Entwicklern sichere und robuste Standardmodelle für eine Vielzahl von Anwendungen bereitzustellen, um die Arbeit von Entwicklern, die sichere KI einsetzen, zu reduzieren Systemmenge.

Das Forschungsteam nutzte einen vielschichtigen Datenerfassungsansatz, bei dem von Menschen generierte Daten von Anbietern mit synthetischen Daten kombiniert wurden, um potenzielle Sicherheitsrisiken zu mindern. Das Forschungsteam entwickelte eine Reihe von Klassifikatoren, die auf einem großen Sprachmodell (LLM) basieren, um qualitativ hochwertige Eingabeaufforderungen und Antworten sorgfältig auszuwählen und so die Datenqualitätskontrolle zu verbessern.

Es ist erwähnenswert, dass Llama 3.1 großen Wert auf die vorbildliche Ablehnung harmloser Aufforderungen und den Ablehnungston legt. Das Forschungsteam führte Grenzaufforderungen und kontradiktorische Aufforderungen in die Sicherheitsdatenrichtlinie ein und änderte die Sicherheitsdatenantwort, um den Tonrichtlinien zu folgen.

Das Llama 3.1-Modell ist nicht für den eigenständigen Einsatz konzipiert, sondern sollte als Teil eines gesamten KI-Systems eingesetzt werden, wobei bei Bedarf zusätzliche „Sicherheitsleitplanken“ bereitgestellt werden. Entwickler sollten beim Aufbau von Agentensystemen Systemsicherheitsmaßnahmen ergreifen.

Beachten Sie, dass diese Version neue Funktionen einführt, darunter längere Kontextfenster, mehrsprachige Eingabe und Ausgabe sowie eine mögliche Entwicklerintegration mit Tools von Drittanbietern. Beim Erstellen mit diesen neuen Funktionen müssen Sie neben der Berücksichtigung von Best Practices, die im Allgemeinen für alle Anwendungsfälle generativer KI gelten, auch den folgenden Aspekten besondere Aufmerksamkeit schenken:

Tool-Nutzung: Wie bei der Standardsoftwareentwicklung sind Entwickler für die Integration von LLM in die Tools und Dienste ihrer Wahl verantwortlich. Sie sollten klare Richtlinien für ihre Anwendungsfälle entwickeln und die Integrität der von ihnen genutzten Drittanbieterdienste bewerten, um die Sicherheitseinschränkungen bei der Nutzung dieser Funktionalität zu verstehen.

Mehrsprachig: Lama 3.1 unterstützt neben Englisch 7 Sprachen: Französisch, Deutsch, Hindi, Italienisch, Portugiesisch, Spanisch und Thailändisch. Llama kann möglicherweise Text in anderen Sprachen ausgeben, dieser Text erfüllt jedoch möglicherweise nicht die Sicherheits- und Hilfsleistungsschwellenwerte.

Die Grundwerte von Llama 3.1 sind Offenheit, Inklusion und Hilfsbereitschaft. Es ist für jedermann konzipiert und eignet sich für eine Vielzahl von Anwendungsfällen. Daher ist Llama 3.1 so konzipiert, dass es für Menschen aller Hintergründe, Erfahrungen und Perspektiven zugänglich ist. Bei Llama 3.1 stehen die Benutzer und ihre Bedürfnisse im Mittelpunkt, ohne unnötige Urteile oder Normen einzubauen, und spiegelt gleichzeitig die Erkenntnis wider, dass selbst Inhalte, die in manchen Kontexten problematisch erscheinen, in anderen nützlich sein können. Llama 3.1 respektiert die Würde und Autonomie aller Benutzer und respektiert insbesondere die Werte des freien Denkens und der freien Meinungsäußerung, die Innovation und Fortschritt vorantreiben.

Aber Llama 3.1 ist eine neue Technologie, und wie bei jeder neuen Technologie sind mit ihrer Verwendung Risiken verbunden. Bisher durchgeführte Tests können und können nicht alle Situationen abdecken. Daher können die potenziellen Ergebnisse von Llama 3.1, wie bei allen LLMs, nicht im Voraus vorhergesagt werden, und in einigen Fällen reagiert das Modell möglicherweise ungenau, voreingenommen oder auf andere Weise anstößig auf Benutzereingaben. Daher sollten Entwickler vor der Bereitstellung einer Anwendung des Llama 3.1-Modells Sicherheitstests und Feinabstimmungen für die spezifische Anwendung des Modells durchführen.

Modellkartenquelle: https://pastebin.com/9jGkYbXY

Referenzinformationen: https://x.com/op7418/status/1815340034717069728

https://x.com/iScienceLuvr/status/1815519917715730702

https://x.com/mattshumer_/status/1815444612414087294