uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

kuai technology news 1. lokakuutaamd julkaisi ensimmäisen pienen kielimallinsa (slm), nimeltään "amd-135m".

verrattuna yhä suurempaan suureen kielimalliin (llm), se on pienempi, joustavampi ja kohdennetumpi ja soveltuu erittäin hyvin käytettäväksi yksityisissä ja ammattimaisissa yrityksissä.

pieni amd-135-malli kuuluu llama-perheeseen ja siitä on kaksi versiota:

yksi on perustyyppi"amd-llama-135m”, yhtä monta kuin670 miljardia tokenia opetettiin kuuden päivän ajan kahdeksalla instinct mim250 64 gt -kiihdyttimellä.

toinen on laajennettu "amd-llama-135m-koodi”, lisäluvuilla, jotka keskittyvät erityisesti ohjelmointiin20 miljardia tokenia, joita on koulutettu samalla laitteistolla neljän päivän ajan.

luonti- ja käyttöönottoprosessi

se käyttää menetelmää ns"spekulatiivinen dekoodaus"tämä menetelmä luo useita ehdokastokeneita yhdellä eteenpäinsiirrolla pienemmän luonnosmallin läpi ja lähettää ne sitten suurempaan ja tarkempaan kohdemalliin todentamista tai korjausta varten.

tämä menetelmä voi tuottaa useita tunnuksia samanaikaisesti vaikuttamatta suorituskykyyn ja voi myös vähentää muistin käyttöä. koska datatapahtumia on kuitenkin enemmän, myös virrankulutus kasvaa.

amd käytti myös amd-llama-135m-koodia codellama-7b-mallin luonnosmallina testatakseen suorituskykyä spekulatiivisen dekoodauksen kanssa tai ilman.

esimerkiksi mi250-kiihdyttimessä suorituskykyä voidaan parantaa jopa noin 2,8-kertaisesti, ryzen ai -suorittimessa sitä voidaan parantaa jopa noin 3,88-kertaisesti ja ryzen ai npu:ssa sitä voidaan parantaa jopa noin 2,98 kertaa.

spekulatiivinen dekoodaus

pienen amd-135m-mallin koulutuskoodi, tietojoukot ja muut resurssit ovat olleet avoimen lähdekoodin ja noudattavat apache 2.0:aa.

amd:n mukaansen suorituskyky vastaa periaatteessa muita avoimen lähdekoodin pieniä malleja tai hieman edellä niitäesimerkiksi hellaswag, sciq, arc-easy ja muut tehtävät ylittävät llama-68m:n ja llama-160m:n, kun taas hellaswag, winogrande, sciq, mmlu, arc-easy ja muut tehtävät ovat periaatteessa samanlaisia ​​kuin gtp2-124mn ja opt-125m.