notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Cose intelligenti (account pubblico:zhidxcom）
compilarevaniglia
modificareLi Shuiqing

La piccola famiglia di modelli open source di Google DeepMind dà il benvenuto a nuovi membri!

Zhidongzhi ha riferito il 1° agosto che questa mattina presto, Google DeepMind ha reso open source il modello leggero Gemma 2 2B. Il suo punteggio nell'arena dei modelli di grandi dimensioni ha superato modelli con parametri più grandi come GPT-3.5 e Llama 2 70B.

▲Gemma 2 2B

Con soli 2 miliardi di parametri, Gemma 2 2B può funzionare facilmente e velocemente su telefoni cellulari, PC e altri dispositivi terminali. Secondo i test effettivi condotti dagli sviluppatori su Google AI Studio, la velocità di inferenza raggiunge i 30~40 token/s.

▲Gli sviluppatori testano Gemma 2 2B

Insieme a Gemma 2 2B vengono lanciati Gemma Scope, uno strumento per migliorare l'interpretabilità dei modelli, e ShieldGemma, un modello di classificazione di sicurezza per filtrare i contenuti dannosi.

Gemma Scope si basa sullo sparse autoencoder (SAE) per amplificare punti specifici del modello e utilizza l'architettura JumpReLU per ottimizzarlo, aiutando così ad analizzare le informazioni dense e complesse elaborate nel modello, consentendo ai ricercatori di "vedere" il modello come un microscopio.

ShieldGemma è progettato per quattro aree di danno: incitamento all'odio, molestie, contenuti pornografici e contenuti pericolosi e supera i modelli di riferimento come GPT-4 nei test di risposta.

La serie di modelli Gemma, lanciata inizialmente nel febbraio di quest'anno, sono modelli open source realizzati da Google DeepMind sulla base dell'esperienza del modello Gemini. A giugno, Google ha lanciato il modello open source di seconda generazione Gemma 2, comprendente due dimensioni di parametri di 9B e 27B. Tra questi, il modello 27B è balzato rapidamente in prima linea tra i modelli open source nell'arena dei modelli di grandi dimensioni LMSYS.

1. Sconfiggi un modello grande con 35 volte i parametri, nessun problema rispetto a Gemma 2

Gemma 2 2B è un perfezionamento di un modello più grande ed è il terzo modello Gemma 2 lanciato da Google dopo 27B e 9B.

Essendo un modello leggero con solo 2 miliardi di parametri, Gemma 2 2B non sacrifica le prestazioni per la portabilità. Nella classifica LMSYS Large Model Arena (Chatbot Arena), Gemma 2 2B ha superato GPT-3.5 con un punteggio di 1126 punti, così come i suoi modelli Mixtral 8x7B e Llama 2 70B con decine di volte la scala dei parametri.

▲I risultati di Gemma 2 2B nell’arena dei modelli di grandi dimensioni

Alcuni netizen hanno testato il problema del rapporto 9.9 e 9.11 del "ribaltamento" di Gemma 2 2B su molti modelli di grandi dimensioni e Gemma 2 2B ha rapidamente dato la risposta corretta.

▲Gemma 2 2B risponde

La velocità di corsa è un grande vantaggio dei modelli leggeri. Quanto velocemente esattamente? Il ricercatore di machine learning di Apple Awni Hannun ha testato Gemma 2 2B su MLX Swift sul suo iPhone 15 pro e la sua velocità di inferenza è stata visibilmente elevata.

▲Velocità di corsa Gemma 2 2B

Dopo i test effettivi, lo sviluppatore Tom Huang ha affermato che la sua velocità di esecuzione su Google AI Studio è di circa 30~40 token/s, ovvero "più veloce del modello di Apple".

In termini di distribuzione, Gemma 2 2B fornisce metodi di distribuzione flessibili e può essere eseguito in modo efficiente su una varietà di hardware, inclusi dispositivi edge, laptop o distribuzione cloud basata su Vertex AI.

Gli sviluppatori possono scaricare i pesi del modello di Gemma 2 2B da piattaforme come Hugging Face e Kaggle per applicazioni commerciali e di ricerca, oppure provare le sue funzioni in Google AI Studio.

Indirizzo open source:

https://huggingface.co/google/gemma-2-2b

due,Crea un classificatore per quattro tipi di contenuti, con un tasso di risposta migliore di GPT-4

Per migliorare la sicurezza e l'accessibilità del modello, Google ha lanciato ShieldGemma, una serie di modelli di classificazione dei contenuti sicuri basati su Gemma 2, che viene utilizzato per filtrare l'input e l'output del modello AI di cui è complementare i modelli esistenti nel toolkit di intelligenza artificiale responsabile di Google. Un'aggiunta alla suite di classificazione della sicurezza.

▲Come funziona ShieldGemma

ShieldGemma è progettato per quattro aree di danno: incitamento all'odio, molestie, contenuti pornografici e contenuti pericolosi e fornisce una varietà di dimensioni del modello per soddisfare esigenze diverse, tra cui 2B, 9B e 27B. Tra questi, il modello di parametri 2B è adatto per attività di classificazione online, mentre le versioni 9B e 27B vengono utilizzate per fornire prestazioni più elevate per le applicazioni offline.

Nei risultati della valutazione su set di dati esterni, ShieldGemma ha superato modelli di base come OpenAI Mod e GPT-4.

▲Risultati della valutazione ShieldGemma

Contestualmente è stata resa pubblica anche la relazione tecnica di ShieldGemma, che spiegava il metodo di costruzione, la fonte dei dati e l'efficacia del modello. Nel test di risposta di quattro tipi di contenuti dannosi, il tasso di risposta di ShieldGemma su tre scale è migliore di GPT-4.

▲Test di risposta ShieldGemma

Indirizzo della relazione tecnica:

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

tre,"Microscopio" all'interno di modelli di grandi dimensioni per analizzare il comportamento del modello con codice zero

Per studiare i principi di funzionamento interni dei modelli linguistici, Google ha lanciato Gemma Scope, un codificatore automatico sparso completo e aperto. Funziona come un microscopio, aiutando i ricercatori a "vedere" all'interno del modello per capire meglio come funziona.

Gemma Scope amplifica punti specifici nel modello utilizzando Sparse Autoencoder (SAE). Questi SAE aiutano ad analizzare le informazioni dense e complesse elaborate nel modello, espandendole in una forma più facile da analizzare e comprendere.

▲Rappresentazione stilizzata dell'attivazione del modello utilizzando l'interpretazione SAE

Studiando queste visualizzazioni ampliate, i ricercatori possono capire come Gemma 2 riconosce modelli, elabora informazioni e, infine, fa previsioni, esplorando come costruire sistemi di intelligenza artificiale che siano più facili da comprendere, più affidabili e affidabili.

In precedenza, la ricerca su SAE si era concentrata principalmente sullo studio del funzionamento interno di un singolo strato in un modello in miniatura o in un modello di grandi dimensioni. La svolta di Gemma Scope è che addestra SAE su ogni output di livello e sottolivello del modello Gemma 2. Ha generato più di 400 SAE e ha appreso più di 30 milioni di funzionalità.

▲Esempio di attivazione della funzione di rilevamento SAE di Gemma Scope

Gemma Scope utilizza anche la nuova architettura JumpReLU SAE per la formazione. È difficile per l'architettura SAE originale bilanciare i due obiettivi di rilevare quali caratteristiche sono presenti e stimarne la forza. L'architettura JumpReLU può raggiungere questo equilibrio più facilmente, riducendo significativamente gli errori.

Gemma Scope ha aperto un totale di oltre 400 SAE gratuiti, che coprono tutti i livelli di Gemma 2 2B e 9B, e fornisce dimostrazioni interattive. I ricercatori possono studiare le caratteristiche SAE e analizzare il comportamento del modello senza scrivere codice.

▲Dimostrazione interattiva di Gemma Scope

Indirizzo dimostrativo:

https://www.neuronpedia.org/gemma-scope

Indirizzo della relazione tecnica:

https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

Conclusione: generativaIntelligenza artificialeIl vento soffia verso il modellino eIntelligenza artificialeSicurezza

Dallo sviluppo dell'intelligenza artificiale generativa, il modello è passato dai parametri di "volume" e dalla scala del "volume" alla leggerezza del "volume" e alla sicurezza del "volume", il che riflette che nel processo di implementazione della tecnologia, è più vicino agli utenti, più basso costo e in grado di soddisfare meglio le esigenze specifiche.

I PC e i telefoni cellulari AI stanno gradualmente entrando nella vita dei consumatori. In questo processo, come "imballare" modelli di grandi dimensioni in dispositivi terminali compatti garantendo al tempo stesso la privacy e la sicurezza degli utenti è un problema urgente che i principali produttori di IA devono risolvere.