uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Älykkäät asiat (julkinen tili:zhidxcom）
kootavanilja
muokataLi Shuiqing

Google DeepMindin avoimen lähdekoodin pieni malliperhe toivottaa uudet jäsenet tervetulleiksi!

Zhidongzhi raportoi 1. elokuuta, että varhain tänä aamuna Google DeepMind hankki avoimen lähdekoodin kevyen mallin Gemma 2 2B:n pisteet suurella malliareenalla ylittivät mallit suuremmilla parametreilla, kuten GPT-3.5 ja Llama 2 70B.

▲Gemma 2 2B

Vain 2 miljardilla parametrilla Gemma 2 2B toimii helposti ja nopeasti matkapuhelimissa, tietokoneissa ja muissa päätelaitteissa. Kehittäjien Google AI Studiossa tekemien todellisten testausten mukaan päättelynopeus on 30–40 merkkiä sekunnissa.

▲Kehittäjät testaavat Gemma 2 2B:tä

Gemma 2 2B:n rinnalla julkaistiin Gemma Scope, työkalu mallien tulkinnan parantamiseen, ja ShieldGemma, suojausluokitusmalli haitallisen sisällön suodattamiseen.

Gemma Scope perustuu harvaan autoencoderiin (SAE) vahvistamaan mallin tiettyjä kohtia ja käyttää JumpReLU-arkkitehtuuria optimoimaan sen, auttaen näin jäsentämään mallissa käsiteltyä tiheää ja monimutkaista tietoa, jolloin tutkijat voivat "nähdä" mallin esim. sisäinen mikroskooppi.

ShieldGemma on rakennettu neljää haitta-aluetta varten: vihapuhe, häirintä, pornografinen sisältö ja vaarallinen sisältö, ja se ylittää vastaustesteissä vertailumallit, kuten GPT-4.

Tämän vuoden helmikuussa lanseeratut Gemma-mallisarjat ovat Google DeepMindin Gemini-mallin kokemuksen pohjalta rakentamia avoimen lähdekoodin malleja. Kesäkuussa Google lanseerasi toisen sukupolven avoimen lähdekoodin mallin Gemma 2:n, joka sisältää kaksi parametrikokoa 9B ja 27B. Niiden joukossa 27B-malli hyppäsi nopeasti avoimen lähdekoodin mallien kärkeen LMSYS-suurten mallien areenalla.

1. Päihitä suuri malli 35-kertaisilla parametreilla, mikä ei ole ongelma Gemma 2:lle.

Gemma 2 2B on jalostettu suuremmasta mallista ja se on kolmas Googlen lanseeraama Gemma 2 -malli 27B:n ja 9B:n jälkeen.

Koska Gemma 2 2B on kevyt malli, jossa on vain 2 miljardia parametria, se ei uhraa suorituskykyä siirrettävyyden vuoksi. LMSYS Large Model Arena (Chatbot Arena) -rankingissa Gemma 2 2B ohitti GPT-3.5:n pisteellä 1126 pistettä, samoin kuin Mixtral 8x7B- ja Llama 2 70B -mallit kymmenkertaisilla parametriasteikolla.

▲Gemma 2 2B:n tulokset suurella malliareenalla

Jotkut verkkokäyttäjät testasivat Gemma 2 2B:n "kaatumisen" suhdeongelmaa 9,9 ja 9,11 monissa suurissa malleissa, ja Gemma 2 2B antoi nopeasti oikean vastauksen.

▲Gemma 2 2B vastaa

Juoksunopeus on kevyiden mallien suuri etu. Kuinka nopeasti tarkalleen? Applen koneoppimisen tutkija Awni Hannun testasi Gemma 2 2B:tä MLX Swiftissä iPhone 15 pro -puhelimellaan, ja sen päättelynopeus oli näkyvästi nopea.

▲Gemma 2 2B ajonopeus

Varsinaisen testauksen jälkeen kehittäjä Tom Huang sanoi, että sen ajonopeus Google AI Studiossa on noin 30–40 merkkiä/s, mikä on "nopeampi kuin Applen malli".

Käyttöönoton suhteen Gemma 2 2B tarjoaa joustavia käyttöönottomenetelmiä ja se voi toimia tehokkaasti useilla eri laitteilla, mukaan lukien reunalaitteet, kannettavat tietokoneet tai Vertex AI:hen perustuva pilvikäyttöönotto.

Kehittäjät voivat ladata Gemma 2 2B:n mallipainot sellaisille alustoille kuin Hugging Face ja Kaggle tutkimus- ja kaupallisiin sovelluksiin tai kokeilla sen toimintoja Google AI Studiossa.

Avoimen lähdekoodin osoite:

https://huggingface.co/google/gemma-2-2b

kaksi,Luo luokitin neljälle sisällölle, jonka vastausprosentti on parempi kuin GPT-4

Parantaakseen mallin turvallisuutta ja käytettävyyttä Google on julkaissut Gemma 2:lle rakennetun suojatun sisällön luokittelumallin, jota käytetään tekoälymallin tulon ja lähdön suodattamiseen Googlen vastuullisen AI-työkalupaketin olemassa olevat mallit, täydennys tietoturvaluokitukseen.

▲Kuinka ShieldGemma toimii

ShieldGemma on rakennettu neljää haitta-aluetta varten: vihapuhe, häirintä, pornografinen sisältö ja vaarallinen sisältö, ja se tarjoaa useita mallikokoja eri tarpeisiin, mukaan lukien 2B, 9B ja 27B. Niistä 2B-parametrimalli soveltuu online-luokitustehtäviin, kun taas 9B- ja 27B-versioita käytetään parantamaan suorituskykyä offline-sovelluksiin.

Ulkoisten tietojoukkojen arviointituloksissa ShieldGemma ylitti perusmallit, kuten OpenAI Mod ja GPT-4.

▲ShieldGemma-arvioinnin tulokset

Samalla julkistettiin myös ShieldGemman tekninen raportti, jossa selvitettiin mallin rakennustapa, tietolähde ja tehokkuus. Neljän tyyppisen haitallisen sisällön vastetestissä ShieldGemman vastenopeus kolmella asteikolla on parempi kuin GPT-4.

▲ShieldGemma-vastetesti

Teknisen raportin osoite:

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

kolme,"Mikroskooppi" suurten mallien sisällä analysoimaan mallien käyttäytymistä nollakoodilla

Tutkiakseen kielimallien sisäisiä toimintaperiaatteita Google lanseerasi kattavan ja avoimen harvalukuisen autoenkooderin Gemma Scopen. Se toimii kuin mikroskooppi, mikä auttaa tutkijoita "näkemään" mallin sisällä ymmärtämään paremmin, miten se toimii.

Gemma Scope vahvistaa mallin tiettyjä kohtia käyttämällä Sparse Autoencoders (SAE) -koodeja. Nämä SAE-koodit auttavat jäsentämään mallissa käsitellyn tiheän ja monimutkaisen tiedon ja laajentamaan sen muotoon, joka on helpompi analysoida ja ymmärtää.

▲ Mallin aktivoinnin tyylitelty esitys SAE-tulkinnan avulla

Näitä laajennettuja näkemyksiä tutkimalla tutkijat voivat ymmärtää, kuinka Gemma 2 tunnistaa kuvioita, käsittelee tietoja ja lopulta tekee ennusteita. Hän tutkii kuinka rakentaa tekoälyjärjestelmiä, jotka ovat helpompia ymmärtää, luotettavampia ja luotettavampia.

Aikaisemmin SAE-tutkimus on keskittynyt pääasiassa yhden kerroksen sisäisen toiminnan tutkimiseen pienois- tai suuressa mallissa. Gemma Scopen läpimurto on, että se harjoittelee SAE:tä Gemma 2 -mallin jokaisessa kerroksessa ja alikerroksessa. Se loi yli 400 SAE:tä ja oppi yli 30 miljoonaa ominaisuutta.

▲ Esimerkki Gemma Scopen SAE-etsintäominaisuuden aktivoinnista

Gemma Scope käyttää myös uutta JumpReLU SAE -arkkitehtuuria koulutukseen. Alkuperäisen SAE-arkkitehtuurin on vaikea tasapainottaa kahta tavoitetta, jotka ovat läsnä olevien ominaisuuksien havaitseminen ja niiden vahvuuden arvioiminen. JumpReLU-arkkitehtuuri voi saavuttaa tämän tasapainon helpommin, mikä vähentää merkittävästi virheitä.

Gemma Scope on avannut yhteensä yli 400 ilmaista SAE:tä, jotka kattavat kaikki Gemma 2 2B:n ja 9B:n kerrokset, ja tarjoaa interaktiivisia esityksiä. Tutkijat voivat tutkia SAE:n ominaisuuksia ja analysoida mallin käyttäytymistä ilman koodia.

▲ Gemma Scope interaktiivinen esittely

Demo osoite:

https://www.neuronpedia.org/gemma-scope

Teknisen raportin osoite:

https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

Johtopäätös: GeneratiivinenAITuuli puhaltaa kohti pientä mallia jaAITurvallisuus

Generatiivisen tekoälyn kehittämisen jälkeen malli on siirtynyt "volyymi"-parametreista ja "volyymi"-asteikosta "volyymin" keveyteen ja "volyymi" -turvallisuuteen, mikä heijastaa sitä, että teknologian käyttöönottoprosessissa se on lähempänä käyttäjiä, alhaisemmat kustannukset , ja pystyvät paremmin vastaamaan erityistarpeisiin.

Tekoälytietokoneet ja tekoälymatkapuhelimet tulevat vähitellen kuluttajien elämään Tässä prosessissa suurten mallien "pakkaaminen" pienikokoisiin päätelaitteisiin on kiireellinen ongelma, joka suurten tekoälyvalmistajien on ratkaistava.