raskasta! "large model credibility capability evaluation ranking" julkaistaan valtakunnallisesti.
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
äskettäin "greater bay area generative artificial intelligence security development joint laboratory" käynnisti "large model credibility evaluation ranking" -luokituksen valtakunnallisesti. useat tunnetut yritykset, kuten alibaba "qwen2-72b" ja baidu "ernie-4.0" sijoittivat mallit. ovat listalla.
ensimmäinen kotimainen benchmarking "artificial intelligence security governance framework" version 1.0 arviointijärjestelmä
äskettäin kansallinen kyberturvallisuuden standardoinnin tekninen komitea julkaisi virallisesti "artificial intelligence security governance frameworkin" (jota kutsutaan "kehykseksi") version 1.0 kansallisen kyberturvallisuuden julkisuusviikon pääfoorumilla. tämä viitekehys ei ole vain tekninen asiakirja, vaan myös uusi käytäntö maailmanlaajuiseen tekoälyn hallintaan. sen tarkoituksena on antaa ohjeita tekoälyteknologian turvalliseen, luotettavaan ja kestävään kehitykseen kiinassa ja kaikkialla maailmassa.
"greater bay area generative artificial intelligence security development joint laboratory" (jäljempänä "yhteinen laboratorio") on viitekehyksen mukaan osallistava ja varovainen, ja se varmistaa turvallisuuden, riskikeskeisen, ketterän hallinnon, integroi teknologian ja hallinnan, yhteistoiminnallinen reagointi, avoin yhteistyö ja jakaminen "jaetun hallinnon" periaatteen ja ennaltaehkäisevien toimenpiteiden pohjalta sekä teknologian että hallinnon alalla olemme tutkineet ja muotoilleet maan ensimmäisen suuren mittakaavan mallin turvallisuuden, uskottavuuden ja määrällisen luokitusjärjestelmän, joka vertaa "framework". tässä arviointijärjestelmässä yhdistyvät "generatiivisten tekoälypalvelujen hallinnan välitoimenpiteet" ja "generatiivisten tekoälypalvelujen turvallisuuden perusvaatimukset". siinä keskitytään "kehyksen" vertailuanalyysiin, keskittyen kolmeen pääsuuntaan ja 13 näkökohtaan: arvo. kohdistaminen, turvallisuus ja hallittavuus sekä luotettavat ominaisuudet jakaa mitat mallin luodun sisällön ja käyttäytymisen kattavaan arviointiin.
ensimmäinen maassa, joka julkaisi "large model credibility capability evaluation ranking -luokituksen"
"joint laboratory" valitsi arviointikohteiksi 22 uusinta suurta mallia kotimaassa ja ulkomailla, mukaan lukien 17 kotimaista mallia ja 5 ulkomaista mallia (huawei ja tencent ovat "joint laboratoryn" yhteisiä rakennusyksiköitä, eivätkä heidän mallinsa osallistu. arvioinnissa). 13-ulotteinen arviointijärjestelmä on arvioitu kattavasti ja objektiivisesti, yli 34 000 dataa sisältävällä arviointiaineistolla, joka tukee sekä kiinaa että englantia, ja lopulta muodostui "large model credibility capability evaluation -arviointi". sijoitus".
kotimainen suuri malli luotettu arviointiluettelo
luotettu arviointilista ulkomaisista suurista malleista
arviointitulokset osoittavat, että suuret kotimaiset mallit osoittavat vahvaa kilpailukykyä luotettavuusarvioinnissa. ero huippumallien välillä on pieni 88,2 % malleista 13 luotettavuusulottuvuuden yläpuolella. kaiken kaikkiaan kotimaiset suuret mallit suoriutuvat erinomaisesti luotettavuudesta, erityisesti arvojen yhdenmukaistamisesta ja turvallisuuden hallittavuudesta, mikä kuvastaa kotimaisen teknologian jatkuvaa kehittymistä ja niiden suurta mukautumiskykyä politiikkaan ja säädöksiin. esimerkiksi arvon kohdistuksen viidestä ulottuvuudesta 16 mallista 17:stä saavutti vähintään 4a-tason (94,1 %), mutta vain 4 mallia saavutti 5a-tason (23,5 %), mikä osoittaa, että optimoinnille on vielä tilaa . turvallisuuden ja ohjattavan ulottuvuuden neljästä alakategoriasta 3 mallia saavutti 3a:n ja loput 14 saavutti 4a:n, mikä vastaa 82,4%.
arviointitulokset paljastivat kuitenkin myös joitakin puutteita, erityisesti neljässä toimintavarmuuden ulottuvuudessa. mallin luokitukset vaihtelivat välillä 1a–4a, ja vain 29,4 % malleista saavutti 4a:n. tämä johtuu pääasiassa eroista perusmallin ominaisuuksissa, mikä osoittaa, että mallin perusominaisuuksissa, johdonmukaisuudessa ja vakaudessa on vielä parantamisen varaa. lisäksi avoimen lähdekoodin suuren mallin llama-3.1 ja johtavan suljetun lähdekoodin suuren mallin välillä on edelleen merkittävä ero luotettavien ominaisuuksien, kuten arvojen kohdistuksen, turvallisuuden ja ohjattavuuden, suhteen, ja se vaatii lisäoptimointia.
arvon kohdistuksen arvioinnin tulokset
turvalliset ja hallittavat arviointitulokset
luotettavat kykyarvioinnin tulokset
johdatus "greater bay area generative artificial intelligence security development joint laboratory"
kiinan kommunistisen puolueen guangdongin maakunnan komitean kyberavaruustoimisto ja huawein kansallisen internet-hätäkeskuksen guangdongin haara ovat yhdessä käynnistäneet "joint laboratory for the security development of generative artificial intelligence in greater bay area". tencent, sun yat-senin yliopisto, guangzhoun kunnalliskomitean kyberavaruushallinto, shenzhen kunnan puoluekomitean internet-tietotoimisto, dongguanin kunnan puoluekomitean internet-tietotoimisto ja shenzhen loop development agency osallistuivat yhdessä rakentamiseen. "joint laboratory" on sitoutunut arvioimaan ja arvioimaan tekoälyn mahdollisia riskejä, ennakoivaan ennaltaehkäisy- ja hillitsemisopastustutkimukseen, tutkimaan hallintoparadigmoja tekoälyn luotettavalle, hallittavalle ja turvalliselle kehitykselle, palvelemalla aktiivisesti luova tekoäly ja vahvasti tekoälyn aikakauden tukeminen kattavan verkonhallintajärjestelmän rakentaminen edistää yhdessä tekoälyn olevan "ihmislähtöistä ja hyvää suuntautunutta" ja pyrkii auttamaan digitaalista taloutta kehittymään laadukkaammin. korkea turvallisuustaso.
nanfang.com, guangdongin tutkimusreportteri he minhui
