uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

it house news 15. syyskuuta, teknologiamedian marktechpost julkaisi blogikirjoituksen eilen (14. syyskuuta),on raportoitu, että nvidia on käyttänyt avoimen lähdekoodin nemotron-mini-4b-instruct ai -mallia, mikä merkitsee uutta lukua yhtiön innovaatioissa tekoälyn alalla.

suuri potentiaali pienille kielimalleille

nemotron-mini-4b-instruct ai -malli on suunniteltu tehtäviin, kuten roolipeleihin, hakuun lisättyyn sukupolveen (rag) ja toimintokutsuihin. se on pieni kielimalli (slm), joka on tislattu ja optimoitu suuremmalla nemotronilla -4 15b saada.

nvidia käyttää kehittyneitä tekoälytekniikoita, kuten karsimista, kvantisointia ja tislausta, tehdäkseen mallista pienemmän ja tehokkaamman, mikä sopii erityisesti laitepuolen käyttöön.

tämä koon pienentäminen ei vaikuta mallin suorituskykyyn tietyissä skenaarioissa, kuten roolipeleissä ja toimintojen kutsumisessa, joten se on käytännöllinen valinta sovelluksille, jotka vaativat nopeaa on-demand-vastausta.

tämä malli on hienosäädetty minitron-4b-base-mallissa ja käyttää llm-pakkaustekniikkaa. yksi merkittävimmistä ominaisuuksista on, että se pystyy käsittelemään 4096 kontekstiikkunan merkkiä ja tuottaa pidempiä ja johdonmukaisempia vastauksia.

arkkitehtuuri ja tekniset tiedot

nemotron-mini-4b-instruct tunnetaan tehokkaasta arkkitehtuuristaan, joka varmistaa tehokkuuden ja skaalautuvuuden.

mallin upotuskoko (joka määrittää muunnetun vektorin ulottuvuuden) on 3072, multi-head attention on 32 ja mlp-välimitta on 9216. käsiteltäessä suuren mittakaavan syöttötietojoukkoja, se voidaan silti vastata suurella tarkkuudella. ja merkitystä.

lisäksi malli käyttää myös group query attention (gqa)- ja rotated position embedding (rope) -tekniikoita parantaakseen entisestään kykyään käsitellä ja ymmärtää tekstiä.

tämä malli perustuu transformer-dekooderarkkitehtuuriin ja on autoregressiivinen kielimalli. tämä tarkoittaa, että se luo jokaisen tunnuksen edeltävien merkkien perusteella, mikä tekee siitä ihanteellisen tehtäviin, kuten dialogien luomiseen, joissa dialogin johdonmukainen kulku on ratkaisevan tärkeää.

roolipeli- ja toimintokutsusovellukset

nemotron-mini-4b-instruct on erinomainen roolipelisovelluksissa. sen valtavan merkintäkapasiteetin ja optimoitujen kielten luontiominaisuuksien ansiosta se voidaan upottaa virtuaalisiin avustajiin, videopeleihin tai mihin tahansa muuhun interaktiiviseen ympäristöön, joka vaatii tekoälyä kriittisten vastausten luomiseen.

nvidia tarjoaa erityisen kehotusmuodon varmistaakseen, että malli tuottaa parhaat tulokset näissä skenaarioissa, erityisesti yhden tai useamman kierroksen keskusteluissa.

malli on myös optimoitu toimintokutsuille, mikä on yhä tärkeämpää ympäristöissä, joissa tekoälyjärjestelmien on oltava vuorovaikutuksessa api:iden tai muiden automatisoitujen prosessien kanssa. kyky tuottaa tarkkoja, toiminnallisia vastauksia tekee tästä mallista hyvin sopivan rag-skenaarioihin, joissa mallin on luotava tekstiä sekä haettava ja toimitettava tietoa tietokannasta.