uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Uusi viisausraportti

Toimittaja: Toimitusosasto

[Johdatus uuteen viisauteen] Google DeepMindin pieni malliydinpommi on täällä Gemma 2 2B voitti suoraan GPT-3.5:n ja Mixtral 8x7B:n, joilla oli useita suuruusluokkaa suuremmat parametrit. Samaan aikaan julkaistu Gemma Scope tunkeutuu LLM:n mustan laatikon läpi kuin mikroskooppi, jolloin voimme nähdä selvästi, kuinka Gemma 2 tekee päätöksiä.

Google DeepMindin pieni malli on taas uusi!

Juuri nyt Google DeepMind julkaisi Gemma 2 2B:n.

Se on tislattu Gemma 2 27B:stä.

Vaikka sen parametrit ovat vain 2.6B, sen pisteet LMSYS-areenalla ovat ylittäneet GPT-3.5 ja Mixtral 8x7B!

MMLU- ja MBPP-mittausarvoissa se saavutti erinomaiset tulokset, 56,1 ja 36,6, sen suorituskyky ylitti edellisen mallin Gemma 1 2B:n yli 10 prosentilla.

Pieni malli voitti suuren mallin, joka oli useita suuruusluokkaa suurempi, vahvistaen jälleen kerran pienten mallien suunnan, johon ala on viime aikoina erittäin optimistinen.

Google julkisti tänään yhteensä kolme uutta Gemma 2 -perheen jäsentä:

• Gemma 2 2B:Kevyt 2B-malli saavuttaa parhaan tasapainon suorituskyvyn ja tehokkuuden välillä

• ShieldGemma:Gemma 2:een rakennettu suojattu sisällön luokittelumalli, joka suodattaa AI-mallin tuloa ja ulostuloa käyttäjien turvallisuuden varmistamiseksi

• Gemma-alue:Tulkintatyökalu, joka tarjoaa vertaansa vailla olevan käsityksen mallisi sisäisestä toiminnasta

Kesäkuussa syntyivät 27B ja 9B Gemma 2 -mallit.

Julkaisunsa jälkeen 27B-mallista on nopeasti tullut yksi parhaista avoimen lähdekoodin malleista suurissa malliluokissa, jopa ylittäen suositut mallit kaksinkertaisella parametrien määrällä todellisissa keskusteluissa.

Gemma 2 2B: heti saatavilla laitteellesi

Kevyt pieni malli Gemma 2 2B on tislattu suuresta mallista, eikä sen suorituskyky ole huonompi.

Suurella LMSYS-malliareenalla uusi malli saavutti vaikuttavan pistemäärän 1130, mikä vastaa 10-kertaisia ​​parametreja malleissa.

GPT-3.5-Turbo-0613 sai 1117 ja Mixtral-8x7b 1114.

Tämä osoittaa, että Gemma 2 2B on paras päästä sivulle -malli.

Jotkut verkkokäyttäjät antoivat kvantisoidun Gemma 2 2B:n toimia MLX Swiftillä iPhone 15 Prossa, ja nopeus oli hämmästyttävän nopea.

Erityisesti sitä voidaan ottaa käyttöön eri päätelaitteisiin, kuten matkapuhelimiin, kannettaviin tietokoneisiin ja jopa tehokkaaseen pilveen Vertex AI:n ja Google Kubernetes Enginen (GKE) avulla.

Mallin nopeuttamiseksi se on optimoitu NVIDIA TensorRT-LLM:n kautta, joka on saatavilla myös NVIDIA NIM -alustalle.

Optimoitu malli toimii useissa eri käyttöympäristöissä, mukaan lukien datakeskukset, pilvet, paikalliset työasemat, PC:t ja reunalaitteet.

Se voi myös tukea RTX-, RTX GPU- ja Jetson-moduuleja marginaalisen tekoälyn käyttöönoton suorittamiseksi loppuun.

Lisäksi Gemma 2 2B yhdistää saumattomasti Kerasin, JAXin, Hugging Facen, NVIDIA NeMo:n, Ollaman, Gemma.cpp:n jne., ja se integroidaan pian MediaPipeen kehityksen yksinkertaistamiseksi.

Tietysti Gemma 2:n tavoin 2B-mallia voidaan käyttää myös tutkimukseen ja kaupalliseen käyttöön.

Vaikka sen parametrien määrä on riittävän pieni, se voi toimia Google Colabin ilmaisella T4 GPU -tasolla, mikä alentaa kehityskynnystä.

Tällä hetkellä jokainen kehittäjä voi ladata Gemma 2:n mallipainot Kagglesta, Hugging Facesta ja Vertex AI Model Gardenista sekä kokeilla sen toimintoja Google AI Studiossa.

Varaston osoite: https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

ShieldGemma: huippuluokan turvaluokitus

Kuten nimestä voi päätellä, ShieldGemma on edistynein tietoturvaluokitus, joka varmistaa, että tekoälyn sisältö on houkuttelevaa, turvallista ja kattavaa, ja havaitsee ja vähentää haitallisen sisällön tuotantoa.

ShieldGemma on suunniteltu erityisesti neljälle haitalliselle alueelle:

- vihapuhe

- Häirintäsisältö

- Selkeä sisältö

- Vaarallinen sisältö

Nämä avoimen lähdekoodin luokittimet täydentävät Googlen Responsible AI -työkalupakin turvallisuusluokittelusarjaa.

Työkalupakki sisältää menetelmän rajallisiin tietopisteisiin perustuvien käytäntökohtaisten luokittimien luomiseen sekä sovellusliittymän kautta toimitettuja valmiita Google Cloud -luokitteluita.

ShieldGemma perustuu Gemma 2:een, joka on alan johtava tietoturvaluokitus.

Se tarjoaa erilaisia ​​malliparametrikokoja, mukaan lukien 2B, 9B ja 27B, jotka kaikki on optimoitu NVIDIA-nopeuteen ja voivat toimia tehokkaasti eri laitteistoilla.

Niistä 2B soveltuu erittäin hyvin online-luokitustehtäviin, kun taas versiot 9B ja 27B tarjoavat paremman suorituskyvyn offline-sovelluksiin, joilla on alhaisemmat latenssivaatimukset.

Gemma Scope: Paljastaa tekoälyn päätöksentekoprosessin avoimen lähdekoodin harvaan autoenkooderiin

Toinen samaan aikaan julkaistu kohokohta on avoimen lähdekoodin harva autoencoder-Gemma Scope.

Mitä kielimallin sisällä tapahtuu? Tämä ongelma on askarruttanut tutkijoita ja kehittäjiä pitkään.

Kielimallien sisäinen toiminta on usein mysteeri, jopa niitä kouluttaville tutkijoille.

Gemma Scope on kuin tehokas mikroskooppi, joka suurentaa mallin tietyt kohdat harvalukuisten autoenkooderien (SAE) avulla, mikä tekee mallin sisäisistä toiminnoista helpompia tulkita.

Gemma Scopen avulla tutkijat ja kehittäjät saavat ennennäkemättömän läpinäkyvyyden Gemma 2 -mallin päätöksentekoprosessiin.

Gemma Scope on kokoelma satoja ilmaisia ​​ja avoimia harvalukuisia autoenkoodereja (SAE) Gemma 2 9B:lle ja Gemma 2 2B:lle.

Nämä SAE:t ovat erityisesti suunniteltuja hermoverkkoja, jotka auttavat meitä tulkitsemaan Gemma 2:n käsittelemää tiheää, monimutkaista tietoa ja laajentamaan sitä muotoon, joka on helpompi analysoida ja ymmärtää.

Näitä laajennettuja näkemyksiä tutkimalla tutkijat voivat saada arvokasta tietoa siitä, kuinka Gemma 2 tunnistaa kuvioita, käsittelee tietoa ja tekee ennusteita.

Gemma Scopen avulla tekoälyyhteisö voi helpommin rakentaa tekoälyjärjestelmiä, jotka ovat ymmärrettävämpiä, vastuullisempia ja luotettavampia.

Samaan aikaan Google DeepMind julkaisi myös 20-sivuisen teknisen raportin.

Tekninen raportti: https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

Yhteenvetona Gemma Scopessa on seuraavat kolme innovaatiota -

• Avoimen lähdekoodin SAE: Yli 400 vapaasti saatavilla olevaa SAE:tä, jotka kattavat kaikki Gemma 2 2B- ja 9B -tasot

• Interaktiivinen esittely: Tutustu SAE-ominaisuuksiin ja analysoi mallin käyttäytymistä Neuronpediassa kirjoittamatta koodia

• Helppokäyttöinen resurssikirjasto: tarjoaa koodia ja esimerkkejä vuorovaikutukseen SAE:n ja Gemma 2:n kanssa

Tulkitse kielimallien sisäistä toimintaa

Miksi kielimallien tulkintaongelma on niin vaikea?

Tämä alkaa LLM:n toimintaperiaatteesta.

Kun kysyt LLM:ltä kysymyksen, se muuntaa tekstinsyöttösi "aktivointien" sarjaksi. Nämä aktivaatiot kartoittavat syöttämiesi sanojen väliset suhteet, mikä auttaa mallia luomaan yhteyksiä eri sanojen välille ja luomaan vastauksia niiden mukaisesti.

Kun malli käsittelee tekstinsyöttöä, mallin hermoverkon eri kerrosten aktivaatiot edustavat useita asteittain korkeamman tason käsitteitä, joita kutsutaan "ominaisuuksiksi".

Esimerkiksi mallin varhaiset kerrokset voivat oppia tosiasioita, kuten Jordan pelaa koripalloa, kun taas myöhemmät kerrokset voivat tunnistaa monimutkaisempia käsitteitä, kuten tekstin aitouden.

Esimerkki mallin aktivointien tulkinnasta harvalla autoenkoodereilla - kuinka malli muistuttaa tosiasiasta, että "valon kaupunki on Pariisi".Voidaan nähdä, että ranskaan liittyviä käsitteitä on olemassa, mutta toisiinsa liittymättömiä käsitteitä ei ole

Tulkittavuuden tutkijat ovat kuitenkin kohdanneet keskeisen ongelman: mallin aktivointi on sekoitus monia erilaisia ​​ominaisuuksia.

Tutkimuksen alkuvaiheessa tutkijat toivoivat, että hermoverkkoaktivaatioiden ominaisuudet voitaisiin kohdistaa yksittäisten hermosolujen tai tietosolmujen kanssa.

Mutta valitettavasti käytännössä neuronit ovat aktiivisia monien epäolennaisten ominaisuuksien vuoksi.

Tämä tarkoittaa, että ei ole selvää tapaa kertoa, mitkä ominaisuudet ovat osa aktivointia.

Ja juuri tässä harvat autoenkooderit tulevat käyttöön.

Huomaa, että tietty aktivointi on vain sekoitus muutamista ominaisuuksista, vaikka kielimalli voi havaita miljoonia tai jopa miljardeja ominaisuuksia (eli malli käyttää ominaisuuksia harvakseltaan).

Esimerkiksi kielimalli saattaa ajatella suhteellisuusteoriaa vastatessaan kysymykseen Einsteinista, mutta ei ehkä ajatella suhteellisuutta kirjoittaessaan munakasta.

Harvat autoenkooderit hyödyntävät tätä tosiasiaa löytääkseen joukon piileviä ominaisuuksia ja hajottaakseen jokaisen aktivoinnin kouralliseen ominaisuuksiin.

Tutkijat toivovat, että harvoille automaattisille koodereille paras tapa suorittaa tämä tehtävä on löytää olennaiset ominaisuudet, joita kielimallit todella käyttävät.

Tärkeää on, että tämän prosessin aikana tutkijat eivät kertoneet harvalle autoenkooderille, mitä ominaisuuksia etsiä.

Tämän seurauksena he pystyivät löytämään rikkaita rakenteita, joita ei aiemmin ollut ennakoitu.

Koska he eivät kuitenkaan heti tiedä näiden löydettyjen ominaisuuksien tarkkaa merkitystä, he etsivät tekstiesimerkeistä merkityksellisiä kuvioita, joita harva autoenkooderi pitää ominaisuuksien "laukaisuina".

Tässä on esimerkki, jossa ominaisuuden käynnistämät tunnukset on korostettu sinisellä gradientilla ominaisuuden liipaisimen voimakkuuden perusteella:

Esimerkki toimintojen aktivointien löytämisestä harvoilla automaattisilla koodereilla. Jokainen kupla edustaa merkkiä (sanaa tai sanan fragmenttia), ja muuttuva sininen väri kuvaa tämän ominaisuuden vahvuutta.Tässä tapauksessa ominaisuus liittyy selvästi idioomiin

Mitä ainutlaatuista Gemma Scopessa on?

Verrattuna aikaisempiin harvaan autoenkooderiin, Gemma Scopessa on monia ainutlaatuisia ominaisuuksia.

Edellinen keskittyy pääasiassa pienten mallien tai suurten mallien yksittäisten kerrosten sisäisen toiminnan tutkimiseen.

Mutta jos haluat mennä syvemmälle tulkittavuustutkimukseen, se sisältää kerrostetun monimutkaisen algoritmin dekoodauksen suurissa malleissa.

Tällä kertaa Google DeepMind -tutkijat kouluttivat niukkoja automaattikoodareita Gemma 2 2B:n ja 9B:n jokaisen kerroksen ja alikerroksen tulosteille.

Tällä tavalla rakennettu Gemma Scope tuotti yhteensä yli 400 harvaa autoenkooderia ja sai yli 30 miljoonaa ominaisuutta (vaikka monet ominaisuudet voivat olla päällekkäisiä).

Näin tutkijat voivat tutkia, kuinka ominaisuudet kehittyvät koko mallissa ja miten ne toimivat vuorovaikutuksessa ja yhdistyvät muodostaen monimutkaisempia ominaisuuksia.

Lisäksi Gemma Scope on koulutettu käyttämällä uusinta ja edistyneintä JumpReLU SAE -arkkitehtuuria.

Alkuperäisessä harvassa autoenkooderin arkkitehtuurissa on usein vaikea tasapaino kahden tavoitteen välillä, eli ominaisuuden läsnäolon havaitsemisen ja intensiteetin arvioinnin välillä. JumpReLU-arkkitehtuuri voi helpommin saavuttaa tasapainon näiden kahden välillä ja vähentää merkittävästi virheitä.

Tietysti niin monien harvalukuisten autoenkoodereiden kouluttaminen on myös suuri insinöörihaaste ja vaatii paljon laskentaresursseja.

Tässä prosessissa tutkijat käyttivät noin 15 % Gemma 2 9B:n harjoituslaskelmista (lukuun ottamatta tislattujen etikettien luomiseen tarvittavia laskelmia) ja tallensivat noin 20 PiB aktivointia levylle (vastaa noin miljoonaa kopiota englanninkielisen Wiki Encyclopedia -tietosanakirjan sisällöstä). , joka tuottaa yhteensä satoja miljardeja niukkoja autoenkooderin parametreja.

Viitteet:

https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/