Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

IT House berichtete am 23. August, dass NVIDIA am 21. August einen Blogbeitrag veröffentlicht habe, in dem das kleinsprachige KI-Modell Mistral-NeMo-Minitron 8B veröffentlicht wurde, das die Vorteile einer hohen Genauigkeit und einer hohen Recheneffizienz bietet und in GPU-beschleunigten Daten verwendet werden kann Zentren, Cloud und Führen Sie das Modell auf der Workstation aus.

NVIDIA und Mistral AI haben letzten Monat das Open-Source-Modell Mistral NeMo 12B veröffentlicht. Darauf aufbauend hat NVIDIA erneut das kleinere Modell Mistral-NeMo-Minitron 8B mit insgesamt 8 Milliarden Parametern auf den Markt gebracht, das auf mit NVIDIA ausgestatteten Workstations ausgeführt werden kann RTX-Grafikkarten.

Nvidia gab an, Mistral-NeMo-Minitron 8B durch Breitenbeschneidung (Width-Pruning) und leichte Umschulung durch Wissensdestillation (Wissensdestillation) erhalten zu haben. Die entsprechenden Ergebnisse wurden in dem Artikel „Compact Language Models via Pruning and Knowledge“ veröffentlicht Destillation" Mitte.

Beim Beschneiden wird ein neuronales Netzwerk verkleinert, indem Modellgewichte entfernt werden, die am wenigsten zur Genauigkeit beitragen. Während des „Destillation“-Prozesses trainierte das Team das beschnittene Modell anhand eines kleinen Datensatzes neu, um die durch den Bereinigungsprozess verringerte Genauigkeit deutlich zu verbessern.

Aufgrund seiner Größe führt der Mistral-NeMo-Minitron 8B bei neun beliebten Benchmarks für Sprachmodelle mit großem Abstand an. Diese Benchmarks decken eine Vielzahl von Aufgaben ab, darunter Sprachverständnis, vernünftiges Denken, mathematisches Denken, Zusammenfassen, Kodieren und die Fähigkeit, authentische Antworten zu generieren. IT Home fügt die entsprechenden Testergebnisse wie folgt bei: