2024-08-23
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
IT House raportoi 23. elokuuta, että Nvidia julkaisi 21. elokuuta blogikirjoituksen, jossa se julkaisi Mistral-NeMo-Minitron 8B pienikielisen tekoälymallin, jonka etuna on korkea tarkkuus ja korkea laskentatehokkuus ja jota voidaan käyttää GPU-kiihdytetyssä datassa. keskukset, pilvi ja Suorita malli työasemalla.
NVIDIA ja Mistral AI julkaisivat viime kuussa avoimen lähdekoodin Mistral NeMo 12B -mallin Tämän pohjalta NVIDIA lanseerasi jälleen pienemmän Mistral-NeMo-Minitron 8B -mallin, jossa on yhteensä 8 miljardia parametria, jota voidaan käyttää NVIDIAlla varustetuissa työasemissa. RTX-näytönohjaimet.
Nvidia ilmoitti saaneensa Mistral-NeMo-Minitron 8B:n leveysleikkauksen (leveyskarsinnan) Mistral NeMo 12B:n ja kevyen uudelleenkoulutuksen avulla tietämyksen tislaamalla. Asiaankuuluvat tulokset julkaistiin julkaisussa "Compact Language Models via Pruning and Knowledge Tislaus" keskellä.
Karsiminen kutistaa hermoverkkoa poistamalla mallin painot, jotka vaikuttavat vähiten tarkkuuteen. "Tislausprosessin" aikana tiimi koulutti karsitun mallin uudelleen pienelle tietojoukolle parantaakseen merkittävästi tarkkuutta, jota karsiminen oli heikentänyt.
Kokoonsa nähden Mistral-NeMo-Minitron 8B johtaa suurella marginaalilla yhdeksässä suositussa kielimallien vertailussa. Nämä vertailuarvot kattavat erilaisia tehtäviä, mukaan lukien kielen ymmärtäminen, tervejärkinen päättely, matemaattinen päättely, yhteenveto, koodaus ja kyky luoda aitoja vastauksia. IT Home liittää asiaankuuluvat testitulokset seuraavasti:
Kerää ja järjestele viimeisimmät uutiset ja tee ne kaikkien tarkastettavaksi ilmaiseksi.
