Belegung

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Smart Things (öffentliches Konto:Abonnieren）
kompilierenVanille
bearbeitenLi Shuiqing

Die kleine Open-Source-Modellfamilie von Google DeepMind heißt neue Mitglieder willkommen!

Zhidongzhi berichtete am 1. August, dass Google DeepMind heute früh das Leichtgewichtmodell Gemma 2 2B als Open-Source-Lösung bereitgestellt hat. Seine Punktzahl im Bereich der großen Modelle übertraf Modelle mit größeren Parametern wie GPT-3.5 und Llama 2 70B.

▲ Gemma 2 2B

Mit nur 2 Milliarden Parametern kann Gemma 2 2B einfach und schnell auf Mobiltelefonen, PCs und anderen Endgeräten ausgeführt werden. Laut tatsächlichen Tests von Entwicklern in Google AI Studio erreicht die Inferenzgeschwindigkeit 30–40 Token/s.

▲Entwickler testen Gemma 2 2B

Zusammen mit Gemma 2 2B wurden Gemma Scope, ein Tool zur Verbesserung der Modellinterpretierbarkeit, und ShieldGemma, ein Sicherheitsklassifizierungsmodell zum Filtern schädlicher Inhalte, eingeführt.

Gemma Scope basiert auf dem Sparse Autoencoder (SAE), um bestimmte Punkte im Modell zu verstärken, und nutzt die JumpReLU-Architektur, um es zu optimieren. Dadurch hilft es, die dichten und komplexen Informationen zu analysieren, die im Modell verarbeitet werden, sodass Forscher das Modell so „sehen“ können ein Mikroskop intern.

ShieldGemma ist für vier Schadensbereiche konzipiert: Hassrede, Belästigung, pornografische Inhalte und gefährliche Inhalte und übertrifft Benchmark-Modelle wie GPT-4 in Reaktionstests.

Bei der Gemma-Modellreihe, die erstmals im Februar dieses Jahres eingeführt wurde, handelt es sich um Open-Source-Modelle, die von Google DeepMind auf der Grundlage der Erfahrungen des Gemini-Modells erstellt wurden. Im Juni brachte Google das Open-Source-Modell Gemma 2 der zweiten Generation auf den Markt, das zwei Parametergrößen von 9B und 27B umfasst. Darunter sprang das 27B-Modell schnell an die Spitze der Open-Source-Modelle im LMSYS-Großmodellbereich.

1. Besiege das große Modell mit 35-fachen Parametern, was für Gemma 2 kein Problem darstellt.

Gemma 2 2B ist eine Weiterentwicklung eines größeren Modells und nach 27B und 9B das dritte von Google auf den Markt gebrachte Gemma 2-Modell.

Als leichtes Modell mit nur 2 Milliarden Parametern opfert Gemma 2 2B keine Leistungseinbußen zugunsten der Portabilität. In der Rangliste der LMSYS Large Model Arena (Chatbot Arena) übertraf Gemma 2 2B GPT-3.5 mit einer Punktzahl von 1126 Punkten, ebenso wie seine Modelle Mixtral 8x7B und Llama 2 70B mit einem Dutzendfachen der Parameterskala.

▲Gemma 2 2Bs Ergebnisse im großen Modellbereich

Einige Internetnutzer testeten das 9,9- und 9,11-Verhältnisproblem des „Umkippens“ von Gemma 2 2B bei vielen großen Modellen, und Gemma 2 2B gab schnell die richtige Antwort.

▲Gemma 2 2B Antworten

Die Laufgeschwindigkeit ist ein großer Vorteil leichter Modelle. Wie schnell genau? Der Apple-Forscher für maschinelles Lernen, Awni Hannun, testete Gemma 2 2B auf MLX Swift auf seinem iPhone 15 Pro und die Inferenzgeschwindigkeit war sichtlich hoch.

▲Gemma 2 2B Laufgeschwindigkeit

Nach tatsächlichen Tests sagte Entwickler Tom Huang, dass die Laufgeschwindigkeit in Google AI Studio etwa 30 bis 40 Token/s beträgt, was „schneller als das Modell von Apple“ ist.

Was die Bereitstellung betrifft, bietet Gemma 2 2B flexible Bereitstellungsmethoden und kann effizient auf einer Vielzahl von Hardware ausgeführt werden, einschließlich Edge-Geräten, Laptops oder Cloud-Bereitstellung basierend auf Vertex AI.

Entwickler können die Modellgewichte von Gemma 2 2B auf Plattformen wie Hugging Face und Kaggle für Forschungs- und kommerzielle Anwendungen herunterladen oder seine Funktionen in Google AI Studio ausprobieren.

Open-Source-Adresse:

https://huggingface.co/google/gemma-2-2b

zwei,Erstellen Sie einen Klassifikator für vier Arten von Inhalten mit einer Rücklaufquote besser als GPT-4

Um die Sicherheit und Zugänglichkeit des Modells zu verbessern, hat Google ShieldGemma eingeführt, eine Reihe sicherer Inhaltsklassifizierungsmodelle, die auf Gemma 2 basieren und zum Filtern der Eingabe und Ausgabe des KI-Modells verwendet werden die vorhandenen Modelle im verantwortlichen KI-Toolkit von Google. Ergänzung zur Sicherheitsklassifizierer-Suite.

▲Wie ShieldGemma funktioniert

ShieldGemma ist für vier Schadensbereiche konzipiert: Hassrede, Belästigung, pornografische Inhalte und gefährliche Inhalte und bietet verschiedene Modellgrößen für unterschiedliche Anforderungen, darunter 2B, 9B und 27B. Unter diesen eignet sich das 2B-Parametermodell für Online-Klassifizierungsaufgaben, während die 9B- und 27B-Versionen verwendet werden, um eine höhere Leistung für Offline-Anwendungen bereitzustellen.

Bei den Bewertungsergebnissen für externe Datensätze übertraf ShieldGemma Basismodelle wie OpenAI Mod und GPT-4.

▲ShieldGemma-Bewertungsergebnisse

Gleichzeitig wurde auch der technische Bericht von ShieldGemma veröffentlicht, in dem die Konstruktionsmethode, die Datenquelle und die Wirksamkeit des Modells erläutert wurden. Beim Antworttest von vier Arten schädlicher Inhalte ist die Antwortrate von ShieldGemma in drei Skalen besser als GPT-4.

▲ShieldGemma-Reaktionstest

Adresse des technischen Berichts:

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

drei,„Mikroskop“ in großen Modellen zur Analyse des Modellverhaltens ohne Code

Um die internen Arbeitsprinzipien von Sprachmodellen zu untersuchen, hat Google einen umfassenden und offenen Sparse-Autoencoder Gemma Scope auf den Markt gebracht. Es funktioniert wie ein Mikroskop und hilft Forschern, in das Innere des Modells zu „schauen“, um besser zu verstehen, wie es funktioniert.

Gemma Scope verstärkt bestimmte Punkte im Modell mithilfe von Sparse Autoencoders (SAEs). Diese SAEs helfen dabei, die im Modell verarbeiteten dichten und komplexen Informationen zu analysieren und in eine Form zu erweitern, die leichter zu analysieren und zu verstehen ist.

▲Stilisierte Darstellung der Modellaktivierung mittels SAE-Interpretation

Durch die Untersuchung dieser erweiterten Ansichten können Forscher verstehen, wie Gemma 2 Muster erkennt, Informationen verarbeitet und letztendlich Vorhersagen trifft, und untersuchen, wie KI-Systeme erstellt werden können, die einfacher zu verstehen, zuverlässiger und verlässlicher sind.

Bisher konzentrierte sich die SAE-Forschung hauptsächlich auf die Untersuchung des Innenlebens einer einzelnen Schicht in einem Miniatur- oder Großmodell. Der Durchbruch von Gemma Scope besteht darin, dass es SAE auf jeder Schicht- und Unterschichtausgabe des Gemma 2-Modells trainiert. Es wurden mehr als 400 SAEs generiert und mehr als 30 Millionen Funktionen erlernt.

▲Beispiel für die Aktivierung der SAE-Erkennungsfunktion von Gemma Scope

Gemma Scope nutzt auch die neue JumpReLU SAE-Architektur für das Training. Für die ursprüngliche SAE-Architektur ist es schwierig, die beiden Ziele der Erkennung vorhandener Features und der Schätzung ihrer Stärke in Einklang zu bringen. Die JumpReLU-Architektur kann dieses Gleichgewicht einfacher erreichen und Fehler deutlich reduzieren.

Gemma Scope hat insgesamt mehr als 400 kostenlose SAEs geöffnet, die alle Schichten von Gemma 2 2B und 9B abdecken, und bietet interaktive Demonstrationen. Forscher können SAE-Eigenschaften untersuchen und das Modellverhalten analysieren, ohne Code schreiben zu müssen.

▲Interaktive Demonstration von Gemma Scope

Demo-Adresse:

https://www.neuronpedia.org/gemma-scope

Adresse des technischen Berichts:

https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

Fazit: GenerativKIDer Wind weht auf das kleine Modell zu undKISicherheit

Seit der Entwicklung der generativen KI hat sich das Modell von „Volumen“-Parametern und „Volumen“-Skalierung zu „Volumen“-Leichtigkeit und „Volumen“-Sicherheit entwickelt, was darauf hindeutet, dass es im Prozess der Technologieimplementierung näher am Benutzer liegt und geringere Kosten verursacht und besser in der Lage, spezifische Bedürfnisse zu erfüllen.

KI-PCs und KI-Mobiltelefone halten nach und nach Einzug in das Leben der Verbraucher. Dabei ist es ein dringendes Problem, das große KI-Hersteller lösen müssen, wie man große Modelle in kompakte Endgeräte „packt“ und gleichzeitig die Privatsphäre und Sicherheit der Benutzer gewährleistet.