uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Uusi viisausraportti

Toimittaja: Toimitusosasto

[Johdatus uuteen viisauteen] Stanfordin Shrimp Fried Robotin kirjoittaja on julkaissut uuden teoksen! Jäljitelmäoppimisen avulla Da Vinci -robotti oppi suorittamaan "leikkauksia" yksin - nostamaan kudosta, poimimaan neuloja sekä ompelemaan ja sitomaan solmuja. Tärkeintä on, että se suorittaa kaikki edellä mainitut toimet itsenäisesti.

Stanford Shrimp Robotin kirjoittaja on julkaissut uuden teoksen.

Tällä kertaa robotti ei tee meille paistettua riisiä, vaan tekee meille leikkauksen!

Äskettäin Johns Hopkinsin ja Stanfordin yliopiston tutkijat suorittivat uuden tutkimuksen...

Voiko kuuluisa lääketieteellinen robotti Da Vinci oppia kirurgisia tehtäviä jäljitelmän avulla?

Kokeilun jälkeen he onnistuivat!

Da Vinci pystyy suorittamaan itsenäisesti kolme peruskirurgista tehtävää: kudoskäsittelyn, neulankäsittelyn ja solmimisen.

Ensimmäinen on ompelu- ja solmutekniikka, joka vaatii lääketieteen opiskelijoilta sormimistaitojen harjoittelua. Näin Leonardo da Vincin "lentävän neulalangan" ja hän pystyi sitomaan solmun erittäin taitavasti.

Seuraava askel on poimia ja luovuttaa neula Da Vinci voi myös käyttää sitä tarkasti kerralla ilman huolimattomuutta.

Kolmas suuri tehtävä on nostaa organisaatiota. On nähtävissä, että Da Vinci valitsi oikean painopisteen ja nosti organisaation helposti.

Tärkeintä on, että Leonardo da Vinci suoritti kaikki yllä olevat toimet itsenäisesti!

Tosiaankin, tämän tason herkällä toiminnalla on tuttu tuoksu, katsotpa sitä miten tahansa.

Paperiosoite: https://arxiv.org/abs/2407.12998

Blogin osoite: https://surgical-robot-transformer.github.io/

Muista, että verrattuna työpöytätoimintoihin kotiympäristössä, kirurgiset tehtävät vaativat muotoaan muuttavien esineiden tarkkaa käsittelyä ja vaikeita havaitsemisongelmia epäyhtenäisen valaistuksen ja okkluusioiden kanssa.

Lisäksi kirurgisilla roboteilla voi usein olla epätarkkoja proprioseptioita ja hystereesiä.

Miten he selvisivät näistä ongelmista?

Suuri kliininen tietovarasto, robotit voivat oppia

Laajamittainen jäljitelmäoppiminen näyttää lupaavalta yleiskäyttöisissä järjestelmissä käyttötehtäviin, kuten esimerkiksi robottien tekemiseen kotitöitä varten.

Mutta tällä kertaa tutkijat keskittyvät kirurgian alaan.

Kirurgian ala on hyödyntämätön ala, jolla on valtava potentiaali, erityisesti da Vinci -kirurgisen robotin avulla.

Vuoteen 2021 mennessä 6 500 da Vinci -järjestelmää on käytetty 67 maassa ympäri maailmaa ja yli 10 miljoonaa leikkausta on tehty.

Lisäksi näiden leikkausten toimenpiteet tallennettiin täysin, mikä antoi meille suuren arkiston esittelytietoa.

Voidaanko tällaista laajamittaista dataa käyttää yleisen järjestelmän rakentamiseen autonomista kirurgiaa varten?

Mutta kun tutkijat aloittivat opiskelun, he huomasivat, että Da Vinci -robotin on vaikea antaa suorittaa kirurgisia operaatioita jäljitelmän oppimisen avulla -

DaVinci-järjestelmän ainutlaatuinen luonne luo ainutlaatuisia haasteita, jotka estävät jäljitelmän oppimisen toteuttamista.

Oikeassa yläkulmassa on todellinen lääketieteellinen ympäristö, ja oikeassa alakulmassa on tutkijan kokeellinen kokoonpano.

Lisäksi, koska yhteismittaukset ovat epätarkkoja, niiden eteenpäin suuntautuva kinematiikka on epäjohdonmukaista, ja pelkkä politiikan harjoittaminen käyttämällä tätä likimääräistä kinemaattista dataa johtaa usein tehtävän epäonnistumiseen.

Robotti ei pysty suorittamaan edes yksinkertaista visuaalista tarjoilutehtävää. Käytännöillä, jotka on koulutettu tuottamaan absoluuttisia loppuvaikuttajien asentoja (yleinen lähestymistapa robottikäytäntöjen harjoittamiseen), onnistumisprosentti on lähellä nollaa kaikissa tehtävissä.

Kuinka voittaa tämä rajoitus?

Ryhmä havaitsi, että da Vinci -järjestelmän suhteellinen liike on johdonmukaisempaa kuin sen absoluuttinen eteenpäin suuntautuva kinematiikka.

Siksi he ajattelivat tapaa: ottaa käyttöön suhteellinen toimintakaava ja käyttää sen likimääräisiä kinemaattisia tietoja strategian koulutukseen ja käyttöönottoon.

He harkitsivat kolmea vaihtoehtoa: kamerakeskeistä, työkalukeskeistä ja hybridiin liittyvää toimintaa.

Kamerakeskeinen toiminnan esitystapa on lähtökohta, joka mallintaa toimintaa päätelaitteen absoluuttisena asennona suhteessa endoskoopin kärkeen.Kaksi muuta ovat suhteellisia kaavoja, jotka määrittelevät toiminnot suhteessa nykyiseen työkalun (eli pääteefektorin) kehykseen tai endoskoopin kärjen kehykseen

Tämän jälkeen käytäntöä opetetaan käyttämällä syötteenä kuvia ja yllä olevia toimintoja.

Tässä suhteessa heidän lähestymistapansa eroaa aiemmasta työstä, jossa käytettiin kinemaattista dataa. Tässä työssä Da Vincin kinemaattiset tiedot eivät kuitenkaan välttämättä ole luotettavia.

Heidän mallinsa perustuu ACT:hen, Transformer-pohjaiseen arkkitehtuuriin.

Tiimi ehdotti strategiasuunnittelua, joka käyttää vain grafiikkaa syötteenä ja tuottaa suhteellisia asenteiden kehityskulkuja

Jos tämä lähestymistapa onnistuu, suuria kliinisiä tietovarastoja, jotka sisältävät likimääräistä kinematiikkaa, voidaan käyttää suoraan robotin oppimiseen ilman lisäkorjauksia.

Tällä on epäilemättä suuri merkitys robottien kliinisissä kirurgisissa leikkauksissa.

Suhteellisen toimintakaavan käyttöönoton jälkeen ryhmä käytti likimääräisiä kinemaattisia tietoja osoittaakseen onnistuneesti jäljitelmän oppimisen DaVincin avulla. Se ei vain vaatinut lisäkinemaattista korjausta, vaan vaikutus oli myös paljon parempi kuin perusmenetelmällä.

Kokeet osoittavat, että jäljitelmäoppiminen ei voi ainoastaan ​​oppia tehokkaasti monimutkaisia ​​kirurgisia tehtäviä, vaan myös yleistää uusiin skenaarioihin, kuten näkymättömiin todellisiin ihmiskudoksiin.

Lisäksi rannekamera on erittäin tärkeä myös leikkaustehtävien oppimisessa.

Nyt aiemmin esiteltyjen itsenäisten kudoskäsittelyn, neulankäsittelyn ja solmujen sitomisen tehtävien lisäksi da Vinci -robotti pystyy suorittamaan myös erilaisia ​​toimintoja.

Nollalaukauksen yleistys

Stanfordin tiimin malli on osoittanut kykynsä mukautua uusiin skenaarioihin, kuten tuntemattoman eläinkudoksen läsnäoloon.

Tämä on video Leonardo da Vincistä sianlihaa ompelemassa ja sitomassa -

Jos se olisi kanaa, Da Vinci voisi myös poimia tarkasti lihan pinnalle asetetun kirurgisen neulan.

Tämä lupaa laajentaa tulevia kliinisiä tutkimuksia.

yritä käyttäytymistä uudelleen

Joten jos on joitain ympäristöhäiriöitä, voiko Leonardo da Vinci silti toimia vakaasti?

Voidaan nähdä, että kun muut instrumentit yhtäkkiä murtautuivat sisään ja irrottivat kirurgiset ompeleet tarkoituksella, Leonardo da Vinci ei pysähtynyt vaan jatkoi solmimista.

Alla olevassa videossa da Vinci ei pysty poimimaan kirurgista neulaa ensimmäisen leikkauksen aikana. Se huomaa tämän tosiasian nopeasti ja poimii neulan onnistuneesti automaattisen säädön avulla.

toistettavuustesti

Kliininen leikkaus ei ole lasten leikkiä Kliinisen robotin on oltava toistettavissa ja sen olennainen ominaisuus on "idioottivarma".

Tutkimusryhmä julkaisi videon Da Vincin toistettavuustestistä ja tarkkaili sen useita toimintoja eri katselukulmista, ja se oli periaatteessa moitteeton.

Tekninen polku

Kuten alla olevasta kuvasta näkyy, da Vinci-robotin dVRK-järjestelmä koostuu endoskooppisesta kameramanipulaattorista (ECM) ja kahdesta potilaspuolen manipulaattorista (PSM1, PSM2), jotka jakavat saman robottipohjan.

Jokainen käsivarsi on peräkkäinen yhdistelmä passiivisesti asetettuja niveliä, joita seuraa moottoroitu aktiivinen nivel.

Yleensä potentiometrien käyttö kaikissa nivelissä johtaa kuitenkin käsivarren eteenpäin suuntautuvaan kinematiikkaan jopa 5 cm:iin asti.

Valitettavasti dVRK:n tarjoamat eteenpäin suunnatut kinematiikkatiedot eivät ole vakaat. Tämä johtuu siitä, että liitoksen asettaminen (sininen) käyttää vain potentiometriä liitoksen mittaamiseen, mikä ei ole luotettavaa.Aktiivinen liitos (vaaleanpunainen) käyttää sekä potentiometriä että moottorianturia tarkkuuden parantamiseksi

Jotta Da Vinci voisi suorittaa kirurgiset tehtävät jäljitelmäoppimisen avulla, robotin epätarkan eteenpäin suuntautuvan kinematiikka huomioon ottaen, tiimi ehdotti kolmea edellä mainittua toiminnan esitystapaa, joiden joukossa sekoitettu suhteellinen menetelmä paransi edelleen translaatioliikkeiden tarkkuutta.

Toteutustiedot

Toteutettavien toimintatapojen kouluttamiseksi tutkitaan muuntajan (ACT) kanssa tapahtuvan toiminnan chunkingin käyttöä ja diffuusiostrategioita.

He kouluttivat käytäntöä käyttämällä syötteenä endoskooppisia ja rannekamerakuvia, jotka pienennettiin 224 x 224 x 3 kuvakokoon.

Kirurgisen endoskooppisen kuvan alkuperäinen syöttökoko on 1024x1280x3 ja rannekuvan koko on 480x640x3.

Kinemaattista tietoa ei anneta syötteenä, kuten on tavallista muissa jäljitelmäoppimismenetelmissä, koska kinemaattiset tiedot ovat usein epäjohdonmukaisia ​​dVRK:n suunnittelurajoitusten vuoksi.

Käytännön tulos sisältää päätelaitteen (delta) asennon, (delta) suunnan ja molempien käsivarsien alaleuan kulman.

koemenettely

Tässä kokeessa tutkijoiden tavoitteena oli löytää vastauksia näihin kysymyksiin -

1. Riittääkö jäljitelmäoppiminen monimutkaisiin kirurgisiin tehtäviin? 2. Onko dVRK:n suhteellinen liike vakaampi kuin sen absoluuttinen eteenpäin suuntautuva kinematiikka? 3. Onko rannekameran käyttö kriittistä onnistumisasteen parantamiseksi? 4. Pystyykö malli yleistämään tehokkaasti uusissa, näkymättömissä skenaarioissa?

Ensin on arvioitava, onko da Vincin suhteellinen liike johdonmukaisempi kuin sen absoluuttinen eteenpäin suuntautuva kinematiikka.

Arviointimenetelmänä on toistuvasti tallentaa referenssiratoja käyttäen absoluuttisia ja suhteellisia liikekaavoja eri robottikonfiguraatioissa.

Tarkemmin sanottuna robotin on asetettava käsivarsi ja endoskooppi suunnilleen samanlaisiin asentoihin käyttämällä samoja reikiä kupussa, joka simuloi ihmisen vatsaa.

Tämä tehtävä ei ole triviaali, koska reikä on paljon suurempi kuin endoskoopin ja työkalun varren mitat ja työkalu on asetettava reikään manuaalisesti asennusliitosta liikuttamalla.

Kaiken kaikkiaan kokeet osoittavat, että suhteellinen liike on johdonmukaisempaa mittausvirheiden läsnä ollessa. Siksi strategisten toimien mallintaminen suhteelliseksi liikkeeksi on parempi valinta.

Tässä kokoonpanossa kerättiin yhteensä 224 kudoksen nostokoetta, 250 neulanpoiminta- ja luovutuskoetta sekä 500 solmimiskoetta.

Kuvassa 5 esitetään referenssiratoja, jotka on tallennettu toistuvasti eri robottikokoonpanoissa kaikkien toimintaesitysten toistettavuuden testaamiseksi.

Vasemmassa kuvassa on täydellinen rekonstruktio referenssiradasta kaikille liikeesityksille, koska robotin nivelet eivät ole liikkuneet referenssiradan hankinnan jälkeen.

Kun robotti liikkuu vasemmalle tai oikealle (keskimmäinen ja oikea kuva), kamerakeskeinen toimintaesitys ei voi seurata viitelentorataa, kun taas suhteellinen toimintaesitys voi seurata referenssirataa hyvin.

Liikeradan seuranta erilaisissa robottikokoonpanoissa

Tämän lisäksi tiimi arvioi myös erilaisilla toimintaesitysmuodoilla koulutettujen mallien tehtävän onnistumisastetta.

Tulokset osoittavat, että strategiat, jotka on opetettu käyttämällä suhteellisia toimintaesityksiä (työkalukeskeinen toimintaesitys ja hybridisuhteellinen toimintaesitys), toimivat hyvin, kun taas absoluuttisella eteenpäin suuntautuvalla kinematiikalla opetetut strategiat epäonnistuvat.

Alla olevassa kuvassa ylärivi on kudoksen nostotehtävä. Robotin on tartuttava kumityynyn (kudoksen) kulmaan ja nostettava sitä ylöspäin.

Harjoittelun aikana kudoksen kulma pysyy punaisen laatikon sisällä, mikä näyttää kulman kokoonpanon testissä.

Keskimmäinen rivi on neulojen poiminta ja luovutus.

Harjoittelun aikana neulat asetettiin satunnaisesti punaisten laatikoiden sisään. Testattaessa neulan keskimyrsky asetettiin 9 asentoon, kuten on osoitettu, varmistamaan johdonmukainen asetus arvioinnin aikana.

Alemmalla rivillä robotti solmii solmua muodostamalla silmukan vasemmanpuoleisen köyden avulla, tarttumalla köyden päästä silmukan läpi ja vetämällä sitten kiinnikkeet poispäin toisistaan.

Harjoittelun aikana narun asento matosta sijoitettiin satunnaisesti punaisen laatikon sisään, kun taas testin aikana köysi sijoitettiin punaisen laatikon keskelle.

Alla oleva video näyttää tulokset harjoitusstrategiasta, jossa käytetään käsivarren absoluuttista eteenpäin suuntautuvaa kinematiikkaa (kamerakeskeistä liikettä).

Nämä strategiat eivät onnistuneet suorittamaan tehtävää da Vincin käsivarsien eteenpäin suuntautuvien kinematiikojen virheiden vuoksi, jotka vaihtelevat merkittävästi harjoittelun ja päättelyn välillä.

Lisäksi tutkijat havaitsivat, että rannekamera paransi merkittävästi suorituskykyä kirurgisten tehtävien oppimisessa.

On selvää, että kirurgisten robottien, jotka voivat oppia itsenäisesti, odotetaan edelleen laajentavan kirurgien mahdollisuuksia tulevaisuudessa.

Viitteet:

https://surgical-robot-transformer.github.io/