uutiset

Core West raportoi 10. elokuuta, että professori Fang Lun tutkimusryhmä elektroniikkatekniikan laitokselta ja akateemikko Dai Qionghain tutkimusryhmä Tsinghuan yliopiston automaation laitokseltaensimmäinenTäysin edistynyt älykäs optisen laskennan koulutusarkkitehtuuri, kehitetty"Tai Chi-II" kevyt harjoitussiru, päästä eroon riippuvuudesta offline-harjoittelusta ja toteuttaa laajamittainen optinen laskentajärjestelmähermoverkkoTehokas ja tarkka koulutus. Asiaankuuluvat tutkimustulokset julkaistiin tällä viikolla kansainvälisessä akateemisessa huippulehdessä Nature.

Tsinghuan yliopiston elektroniikkatekniikan laitos julkaisi johdannon:Tai Chi-II:n ilmestyminen on täyttänyt aukon älykkään optisen laskennan ydintehtävässä laajamittaisessa koulutuksessa.。

Optiselle laskennalle on ominaista suuri laskentateho ja alhainen virrankulutus, ja se on huippuluokan suunta älykkään tietojenkäsittelyn nopeuttamiseen. Nature-arvostelija mainitsi arvostelun kommenteissa, että "tässä artikkelissa esitetyt ideat ovat hyvin uusia.Tämän tyyppisen optisen hermoverkon (ONN) koulutusprosessi on ennennäkemätön. Ehdotettu menetelmä ei ole vain tehokas, vaan myös helppo toteuttaa. Siksi seOdotetaan olevan laajalti käytetty työkalu optisten hermoverkkojen ja muiden optisten laskentajärjestelmien koulutukseen”。

Tsinghuan yliopiston elektroniikan laitos on paperin ensimmäinen yksikkö. Professori Fang Lu ja professori Dai Qionghai ovat tohtoriopiskelija Xue Zhiwei ja tohtorintutkija Zhou Tiankui Tsinghuan yliopiston elektroniikan laitokselta. kirjoittajat jatko-opiskelija Xu Zhihao of Electronics ja Dr. Yu Shaoliang Zhijiang Laboratory osallistuivat tähän työhön. Tätä hanketta tukevat tiede- ja teknologiaministeriö, Kiinan kansallinen luonnontieteellinen säätiö, Pekingin kansallinen tietotieteen ja teknologian tutkimuskeskus sekä Tsinghuan yliopiston ja Zhijiangin laboratorion yhteinen tutkimuskeskus.

1. Symmetrian älykäs käyttö auttaa optista tietojenkäsittelyä pääsemään eroon GPU-riippuvuudesta

Optinen tietojenkäsittely lupaa parantaa koneoppimissovellusten nopeutta ja energiatehokkuutta. Nykyisiä menetelmiä näiden mallien tehokkaaseen harjoittamiseen rajoittavat kuitenkin tietokonesimulaatiot.

Universaali älykäs optinen laskentasiru "Tai Chi" julkaistiin kansainvälisessä akateemisessa lehdessä Science，Ensimmäistä kertaa optinen laskenta on siirretty periaatteen todentamisesta suuriin kokeellisiin sovelluksiin.160TOPS/WJärjestelmätason energiatehokkuus on tuonut toivoa monimutkaisten älykkäiden tehtävien päättelyyn, mutta se ei ole onnistunut vapauttamaan optisen laskennan "harjoitusvoimaa".

Päättelyyn verrattuna mallikoulutus vaatii paljon laskentatehoa. Sähköinen harjoitusarkkitehtuuri vaatii suurta yhteensopivuutta eteenpäin ja taaksepäin etenemismallien välillä, mikä asettaa tiukat vaatimukset optisen laskennan fysiikan järjestelmän tarkalle kohdistukselle, mikä johtaa vaikeaan gradienttilaskentaan, hitaaseen offline-mallinnukseen ja suuriin kartoitusvirheisiin. rajoittaa optisen koulutuksen laajuutta ja tehokkuutta.

Fang Lun ja Dai Qionghain tutkimusryhmä löysi "Fotonien etenemissymmetria"Käytä tätä avaintaTäysi eteenpäin kevyt harjoitteluFyysisen optisen laskennan sähköisen koulutusarkkitehtuurin rajoitusten rikkominen.

Xue Zhiwein, paperin ensimmäisen kirjoittajan mukaan Tai Chi-II -arkkitehtuurin alla,gradienttilaskuTakaisin eteneminen optisessa järjestelmässä muunnetaan optisen järjestelmän eteenpäin etenemiseksi, ja optisen hermoverkon koulutus voidaan saavuttaa käyttämällä datavirhe eteenpäin etenemistä kahdesti. Kahdella eteenpäin suuntautuvalla etenemisellä on luonnolliset kohdistusominaisuudet, mikä varmistaa fyysisten gradienttien tarkan laskennan. Tällä tavalla saavutettu koulutustarkkuus on korkea ja voi tukea laajamittaista verkostokoulutusta.

Fyysisen valojärjestelmän modulaatio-eteneminen ja hermoverkon aktivointi-kytkentä kartoittavat toisiaan, eli modulaatiomoduulin harjoittelu voi ajaa minkä tahansa verkon painon optimointia ja varmistaa siten harjoittelun nopeuden ja energiatehokkuuden.

Koska takaisin leviämistä ei tarvita, Taichi-II-arkkitehtuuri ei enää turvaudu sähköiseen laskemiseen offline-mallinnuksessa ja -koulutuksessa, ja laajamittaisten hermoverkkojen tarkka ja tehokas optinen koulutus voidaan saavuttaa.

2. Optisten verkkojen harjoittelu miljoonilla parametreilla lisää nopeutta 1 suuruusluokalla

Käyttämällä valoa laskentavälineenä ja rakentamalla laskentamallia, joka perustuu valon ohjattavaan etenemiseen, optisella laskennalla on luonnollisesti suuren nopeuden ja alhaisen virrankulutuksen ominaisuudet optisen verkon koulutuksen tehokkuus.

Järjestelmän mittaustulokset osoittavat, että Taichi-II voi kouluttaa erilaisia ​​​​optisia järjestelmiä ja osoittaa erinomaista suorituskykyä erilaisissa tehtävissä.

1. Laajamittainen oppimisalueet:Laskennan tarkkuuden ja tehokkuuden välisen ristiriidan murtaminen,Miljoonia parametrejaOptisen verkon harjoitusnopeutta on parannettu1 suuruusluokka, edustavien älykkäiden luokitustehtävien tarkkuus paranee.40%。

2. Monimutkaisten kohtausten älykäs kuvantaminen:Hämärässä ympäristössä (valon intensiteetti pikseliä kohti on vain alifotoneja) saavutetaan energiatehokkuus.5,40×10^6 TOPS/WTäysi optinen käsittely, järjestelmätason energiatehokkuuden parantaminen6 suuruusluokkaa. Monimutkaisissa kohtauskuvaussovelluksissa, kuten ei-näkökenttäsovelluksissa, saavutetaan älykäs kuvantaminen kilohertsin kehysnopeuksilla ja tehokkuus paranee.2 suuruusluokkaa。

3. Topologinen fotoniikan kenttä:Ei-hermiittejä yksittäisiä pisteitä voidaan etsiä automaattisesti luottamatta mihinkään mallien ennakkoon, mikä tarjoaa uuden idean monimutkaisten topologisten järjestelmien tehokkaaseen ja tarkkaan analysointiin.

3. Edistä sovellusten ja teoreettista kehitystä ja tarjoa uutta laskentatehoa suurille tekoälymalleille.

Taichi-II on osoittanut sovelluspotentiaalia myös topologisen fotoniikan alalla. Se voi automaattisesti etsiä ei-hermiittejä yksittäisiä pisteitä tukeutumatta mihinkään malliin, tarjoten uusia ideoita monimutkaisten topologisten järjestelmien tehokkaaseen ja tarkkaan analysointiin.

Esimerkiksi, jos nämä kaksi instrumenttia erotetaan toisistaan, Taichi I ja II toteuttavat korkean energiatehokkaan tekoälyn perusteluja ja koulutusta, ja jos nämä kaksi instrumenttia on harmonisoitu, Taichi I ja II muodostavat yhdessä laajan älykkään tietojenkäsittelyn täydellisen elinkaaren. .

""Tai Chin Tao määrittää kaksi riittiä ja menetelmän vanhurskauden ja antiuniversumin yhdistämiseksi." Näin kuvailemme Tai Chi -sarjan dialektista yhteistyörakennetta. Uskomme, että ne työskentelevät yhdessä antaakseen uutta sysäystä laskentatehon kehittämiseen tuleviksi suuriksi tekoälymalleiksi ja rakentaa kevyt Uusi perusta laskentateholle. "Fang Lu sanoi.

Periaatenäytteiden perusteella tutkimusryhmä etenee aktiivisesti kohti älykkäiden optisten sirujen teollistamista ja on ottanut niitä käyttöön erilaisissa päätepuolen älykkäissä järjestelmissä.

Kaksi Taichi-sirujen sukupolvea ovat peräkkäin paljastaneet älykkään optisen tietojenkäsittelyn valtavan potentiaalin. Älykkään optisen laskenta-alustan odotetaan tarjoavan nopeaa ja energiatehokasta laskentaa suurille tekoälymalleille, yleiselle tekoälylle ja monimutkaisille älykkäille järjestelmille, jotka kuluttavat vähemmän resursseja ja järjestelmiä. pienemmät rajakustannukset luovat uusia polkuja.

lähde:Tsinghuan yliopisto, luonto