Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: Τμήμα Σύνταξης

[Εισαγωγή στη Νέα Σοφία] Ο συγγραφέας του Stanford's Shrimp Fried Robot κυκλοφόρησε μια νέα δουλειά! Μέσω της εκμάθησης μίμησης, το ρομπότ Ντα Βίντσι έμαθε να κάνει «χειρουργική επέμβαση» μόνο του - σηκώνοντας ιστό, μαζεύοντας βελόνες και ράβοντας και δένοντας κόμπους. Το πιο σημαντικό είναι ότι ολοκληρώνει όλες τις παραπάνω ενέργειες ανεξάρτητα.

Ο συγγραφέας του Stanford Shrimp Robot κυκλοφόρησε μια νέα δουλειά.

Αυτή τη φορά, το ρομπότ δεν μας φτιάχνει τηγανητό ρύζι, αλλά μας κάνει επέμβαση!

Πρόσφατα, ερευνητές από το Johns Hopkins και το Πανεπιστήμιο του Στάνφορντ διεξήγαγαν μια νέα εξερεύνηση——

Μπορεί το διάσημο ιατρικό ρομπότ Da Vinci να μάθει χειρουργικές εργασίες μέσω της μίμησης;

Αφού πειραματίστηκαν, τα κατάφεραν!

Ο Ντα Βίντσι μπορεί να ολοκληρώσει ανεξάρτητα τις τρεις βασικές χειρουργικές εργασίες του χειρισμού ιστού, του χειρισμού της βελόνας και του κόμπου.

Η πρώτη είναι η τεχνική του συρραφής και του κόμπου που απαιτεί από τους φοιτητές ιατρικής να εξασκήσουν τις δεξιότητές τους στο δάχτυλο.

Το επόμενο βήμα είναι να σηκώσετε και να παραδώσετε τη βελόνα.

Το τρίτο σημαντικό καθήκον είναι να ανυψώσει τον οργανισμό. Μπορεί να φανεί ότι ο Ντα Βίντσι επέλεξε τη σωστή εστίαση και ανύψωσε εύκολα τον οργανισμό.

Το πιο σημαντικό είναι ότι όλες οι παραπάνω ενέργειες ολοκληρώθηκαν από τον Λεονάρντο ντα Βίντσι ανεξάρτητα!

Σίγουρα, αυτό το επίπεδο λεπτής λειτουργίας έχει μια οικεία μυρωδιά ανεξάρτητα από το πώς το κοιτάξετε.

Διεύθυνση χαρτιού: https://arxiv.org/abs/2407.12998

Διεύθυνση ιστολογίου: https://surgical-robot-transformer.github.io/

Λάβετε υπόψη ότι σε σύγκριση με τις λειτουργίες επιτραπέζιου υπολογιστή σε οικιακό περιβάλλον, οι χειρουργικές εργασίες απαιτούν ακριβή χειρισμό παραμορφώσιμων αντικειμένων και αντιμετωπίζουν τα προβλήματα σκληρής αντίληψης του ασυνεπούς φωτισμού και της απόφραξης.

Επιπλέον, τα χειρουργικά ρομπότ μπορεί συχνά να έχουν ανακριβή ιδιοδεκτικότητα και υστέρηση.

Πώς ξεπέρασαν αυτά τα προβλήματα;

Μεγάλο αποθετήριο κλινικών δεδομένων, τα ρομπότ μπορούν να μάθουν

Η εκμάθηση μίμησης μεγάλης κλίμακας δείχνει πολλά υποσχόμενα συστήματα γενικής χρήσης για λειτουργικές εργασίες, όπως το να κάνουμε ρομπότ τις δουλειές του σπιτιού για εμάς.

Όμως αυτή τη φορά οι ερευνητές επικεντρώνονται στον τομέα της χειρουργικής.

Ο τομέας της χειρουργικής είναι ένας αναξιοποίητος τομέας με τεράστιες δυνατότητες, ειδικά με τη βοήθεια του χειρουργικού ρομπότ da Vinci.

Από το 2021, 6.500 συστήματα da Vinci έχουν χρησιμοποιηθεί σε 67 χώρες σε όλο τον κόσμο και έχουν πραγματοποιηθεί περισσότερες από 10 εκατομμύρια χειρουργικές επεμβάσεις.

Επιπλέον, οι διαδικασίες αυτών των χειρουργείων καταγράφηκαν πλήρως, δίνοντάς μας μια μεγάλη αποθήκη δεδομένων επίδειξης.

Μπορούν τέτοια μεγάλης κλίμακας δεδομένα να χρησιμοποιηθούν για τη δημιουργία ενός γενικού συστήματος για αυτόνομη χειρουργική;

Ωστόσο, όταν οι ερευνητές άρχισαν να μελετούν, ανακάλυψαν ότι υπάρχει μια δυσκολία στο να αφήσουμε το ρομπότ Ντα Βίντσι να κάνει χειρουργικές επεμβάσεις μέσω της εκμάθησης μίμησης -

Η μοναδική φύση του συστήματος DaVinci δημιουργεί μοναδικές προκλήσεις που εμποδίζουν την εφαρμογή της μίμησης μάθησης.

Το πάνω δεξιά είναι το πραγματικό ιατρικό περιβάλλον και το κάτω δεξιά είναι η πειραματική διάταξη του ερευνητή.

Επιπλέον, επειδή οι κοινές μετρήσεις είναι ανακριβείς, η κινηματική τους προς τα εμπρός θα είναι ασυνεπής και απλώς η εκπαίδευση μιας πολιτικής χρησιμοποιώντας αυτά τα κατά προσέγγιση κινηματικά δεδομένα θα οδηγήσει συχνά σε αποτυχία της εργασίας.

Ακόμη και μια απλή εργασία οπτικής εξυπηρέτησης δεν μπορεί να εκτελεστεί από το ρομπότ. Οι πολιτικές που έχουν εκπαιδευτεί για την παραγωγή απόλυτων στάσεων τελικού τελεστή (μια κοινή προσέγγιση για τις πολιτικές εκπαίδευσης ρομπότ) έχουν ποσοστό επιτυχίας κοντά στο 0 σε όλες τις εργασίες.

Πώς να ξεπεράσετε αυτόν τον περιορισμό;

Η ομάδα διαπίστωσε ότι η σχετική κίνηση του συστήματος da Vinci είναι πιο συνεπής από την απόλυτη κινηματική του προς τα εμπρός.

Ως εκ τούτου, σκέφτηκαν έναν τρόπο: να εισαγάγουν έναν σχετικό τύπο δράσης και να χρησιμοποιήσουν τα κατά προσέγγιση δεδομένα κινηματικής του για εκπαίδευση και ανάπτυξη στρατηγικής.

Εξέτασαν τρεις επιλογές: λειτουργίες με επίκεντρο την κάμερα, εργαλειοκεντρικές και υβριδικές λειτουργίες.

Η αναπαράσταση δράσης με επίκεντρο την κάμερα είναι μια βασική προσέγγιση που μοντελοποιεί τη δράση ως την απόλυτη θέση του τελικού τελεστή σε σχέση με το άκρο του ενδοσκοπίου.Οι άλλοι δύο είναι σχετικοί τύποι που ορίζουν ενέργειες σε σχέση με το πλαίσιο του τρέχοντος εργαλείου (δηλαδή του τελικού τελεστή) ή το πλαίσιο της άκρης του ενδοσκοπίου

Στη συνέχεια, η πολιτική εκπαιδεύεται χρησιμοποιώντας εικόνες ως είσοδο και τις παραπάνω αναπαραστάσεις ενεργειών.

Από αυτή την άποψη, η προσέγγισή τους είναι διαφορετική από την προηγούμενη εργασία, η οποία χρησιμοποίησε κινηματικά δεδομένα ως είσοδο, ωστόσο, σε αυτήν την εργασία, τα κινηματικά δεδομένα του Da Vinci μπορεί να μην είναι αξιόπιστα.

Το μοντέλο τους βασίζεται στο ACT, μια αρχιτεκτονική που βασίζεται σε Transformer.

Η ομάδα πρότεινε έναν σχεδιασμό στρατηγικής που λαμβάνει μόνο γραφικά ως είσοδο και εξάγει σχετικές τροχιές στάσης

Εάν αυτή η προσέγγιση είναι επιτυχής, μεγάλα αποθετήρια κλινικών δεδομένων που περιέχουν κατά προσέγγιση κινηματική θα μπορούσαν να χρησιμοποιηθούν απευθείας για εκμάθηση ρομπότ χωρίς περαιτέρω διόρθωση.

Αυτό είναι αναμφίβολα μεγάλης σημασίας για τις κλινικές χειρουργικές επεμβάσεις ρομπότ.

Σίγουρα, μετά την εισαγωγή της φόρμουλας σχετικής δράσης, η ομάδα χρησιμοποίησε κατά προσέγγιση κινηματικά δεδομένα για να επιδείξει με επιτυχία τη μίμηση της μάθησης στο DaVinci, όχι μόνο δεν απαιτούσε περαιτέρω κινηματική διόρθωση, αλλά το αποτέλεσμα ήταν επίσης πολύ καλύτερο από τη βασική μέθοδο.

Τα πειράματα δείχνουν ότι η μάθηση μίμησης όχι μόνο μπορεί να μάθει αποτελεσματικά πολύπλοκες χειρουργικές εργασίες, αλλά και να γενικευτεί σε νέα σενάρια, όπως σε αόρατους πραγματικούς ανθρώπινους ιστούς.

Επιπλέον, η κάμερα του καρπού είναι επίσης πολύ σημαντική για την εκμάθηση εργασιών χειρουργικής επέμβασης.

Τώρα, εκτός από τις προηγούμενες αυτόνομες εργασίες χειρισμού ιστού, χειρισμού βελόνας και δέσιμο κόμπων, το ρομπότ da Vinci μπορεί επίσης να εκτελέσει μια ποικιλία λειτουργιών.

Γενίκευση μηδενικής βολής

Το μοντέλο της ομάδας του Στάνφορντ έδειξε την ικανότητα προσαρμογής σε νέα σενάρια, όπως η παρουσία άγνωστου ζωικού ιστού.

Αυτό είναι ένα βίντεο του Λεονάρντο Ντα Βίντσι να ράβει και να δένει χοιρινό -

Αν ήταν κοτόπουλο, ο Ντα Βίντσι θα μπορούσε επίσης να πάρει με ακρίβεια τη χειρουργική βελόνα που τοποθετήθηκε στην επιφάνεια του κρέατος.

Αυτό δείχνει υπόσχεση για επέκταση σε μελλοντικές κλινικές μελέτες.

επαναλάβετε τη συμπεριφορά

Έτσι, εάν υπάρχουν κάποιες περιβαλλοντικές διαταραχές, μπορεί ο Λεονάρντο ντα Βίντσι να έχει σταθερή απόδοση;

Μπορεί να φανεί ότι αφού άλλα όργανα έσπασαν ξαφνικά και σκόπιμα ξεφλούδισαν τα χειρουργικά ράμματα, ο Λεονάρντο ντα Βίντσι δεν σταμάτησε και συνέχισε την πράξη κόμπων.

Σε όλο το βίντεο που ακολουθεί, ο ντα Βίντσι αποτυγχάνει να πιάσει τη χειρουργική βελόνα κατά την πρώτη επέμβαση.

δοκιμή επαναληψιμότητας

Η κλινική χειρουργική δεν είναι παιχνίδι για παιδιά.

Η ερευνητική ομάδα δημοσίευσε ένα βίντεο με τη δοκιμή επαναληψιμότητας του Ντα Βίντσι και παρατήρησε τις πολλαπλές λειτουργίες του από διαφορετικές οπτικές γωνίες και ήταν βασικά άψογο.

Τεχνική διαδρομή

Όπως φαίνεται στο παρακάτω σχήμα, το σύστημα dVRK του ρομπότ da Vinci αποτελείται από έναν χειριστή ενδοσκοπικής κάμερας (ECM) και δύο χειριστές από την πλευρά του ασθενούς (PSM1, PSM2) που μοιράζονται την ίδια βάση ρομπότ.

Κάθε βραχίονας είναι ένας διαδοχικός συνδυασμός παθητικά ρυθμισμένων αρθρώσεων, που ακολουθούνται από μηχανοκίνητες ενεργητικές αρθρώσεις.

Ωστόσο, γενικά, η χρήση ποτενσιόμετρων σε όλες τις αρθρώσεις θα έχει ως αποτέλεσμα ανακριβή κινηματική κίνηση του βραχίονα προς τα εμπρός, ακόμη και έως 5 cm.

Δυστυχώς, τα προς τα εμπρός δεδομένα κινηματικής που παρέχονται από το dVRK δεν είναι σταθερά. Αυτό συμβαίνει επειδή η ρύθμιση της άρθρωσης (μπλε) χρησιμοποιεί μόνο ένα ποτενσιόμετρο για τη μέτρηση της άρθρωσης, το οποίο δεν είναι αξιόπιστο.Η ενεργή άρθρωση (ροζ) χρησιμοποιεί τόσο ένα ποτενσιόμετρο όσο και έναν κωδικοποιητή κινητήρα για τη βελτίωση της ακρίβειας

Προκειμένου να επιτραπεί στον Da Vinci να ολοκληρώσει χειρουργικές εργασίες μέσω της εκμάθησης μίμησης, εν όψει της ανακριβούς κινηματικής προς τα εμπρός του ρομπότ, η ομάδα πρότεινε τις τρεις μεθόδους αναπαράστασης ενεργειών που αναφέρονται παραπάνω, μεταξύ των οποίων η μικτή σχετική μέθοδος βελτίωσε περαιτέρω την Ακρίβεια των μεταφραστικών κινήσεων.

Λεπτομέρειες υλοποίησης

Για την κατάρτιση εφικτών πολιτικών, μελετάται η χρήση του τεμαχισμού δράσης με το Transformer (ACT) και οι στρατηγικές διάχυσης.

Εκπαίδευσαν την πολιτική χρησιμοποιώντας εικόνες ενδοσκοπικής κάμερας και καρπού ως είσοδο, οι οποίες μειώθηκαν σε μέγεθος εικόνας 224x224x3.

Το αρχικό μέγεθος εισαγωγής της χειρουργικής ενδοσκοπικής εικόνας είναι 1024x1280x3 και η εικόνα του καρπού είναι 480x640x3.

Τα κινηματικά δεδομένα δεν παρέχονται ως είσοδος, όπως συνηθίζεται σε άλλες μεθόδους εκμάθησης μίμησης, επειδή τα κινηματικά δεδομένα είναι συχνά ασυνεπή λόγω των περιορισμών σχεδιασμού του dVRK.

Η έξοδος πολιτικής περιλαμβάνει τη θέση του τελικού τελεστή (δέλτα), τον προσανατολισμό (δέλτα) και τη γωνία της κάτω γνάθου και των δύο βραχιόνων.

πειραματική διαδικασία

Σε αυτό το πείραμα, ο στόχος των ερευνητών ήταν να βρουν τις απαντήσεις σε αυτά τα ερωτήματα -

1. Είναι η μάθηση μίμησης επαρκής για πολύπλοκες χειρουργικές εργασίες; 2. Είναι η σχετική κίνηση του dVRK πιο σταθερή από την απόλυτη κινηματική του προς τα εμπρός; 3. Είναι η χρήση κάμερας καρπού κρίσιμη για τη βελτίωση των ποσοστών επιτυχίας; 4. Μπορεί το μοντέλο να γενικεύσει αποτελεσματικά σε νέα, αόρατα σενάρια;

Το πρώτο πράγμα που πρέπει να αξιολογηθεί είναι αν η σχετική κίνηση του Ντα Βίντσι είναι πιο συνεπής από την απόλυτη κινηματική του προς τα εμπρός.

Η μέθοδος αξιολόγησης είναι η επανειλημμένη καταγραφή των τροχιών αναφοράς χρησιμοποιώντας απόλυτους και σχετικούς τύπους κίνησης κάτω από διαφορετικές διαμορφώσεις ρομπότ.

Συγκεκριμένα, το ρομπότ πρέπει να τοποθετήσει τον βραχίονα και το ενδοσκόπιο σε περίπου παρόμοιες θέσεις χρησιμοποιώντας τις ίδιες τρύπες σε έναν θόλο που προσομοιώνει την ανθρώπινη κοιλιά.

Αυτή η εργασία δεν είναι ασήμαντη επειδή η οπή είναι πολύ μεγαλύτερη από τις διαστάσεις του ενδοσκοπίου και του άξονα του εργαλείου και το εργαλείο πρέπει να τοποθετηθεί χειροκίνητα στην οπή μετακινώντας την άρθρωση στερέωσης.

Συνολικά, τα πειράματα δείχνουν ότι η σχετική κίνηση είναι πιο συνεπής παρουσία σφαλμάτων μέτρησης. Επομένως, η μοντελοποίηση στρατηγικών ενεργειών ως σχετική κίνηση είναι καλύτερη επιλογή.

Σε αυτή τη διαμόρφωση, συλλέχθηκαν συνολικά 224 πειράματα ανύψωσης ιστού, 250 πειράματα λήψης και παράδοσης βελόνας και 500 πειράματα κόμπων

Το σχήμα 5 δείχνει τροχιές αναφοράς που καταγράφονται επανειλημμένα κάτω από διάφορες διαμορφώσεις ρομπότ για να ελεγχθεί η επαναληψιμότητα όλων των αναπαραστάσεων ενεργειών.

Η αριστερή εικόνα δείχνει μια τέλεια ανακατασκευή της τροχιάς αναφοράς για όλες τις αναπαραστάσεις κίνησης, καθώς οι αρθρώσεις του ρομπότ δεν έχουν μετακινηθεί από τότε που αποκτήθηκε η τροχιά αναφοράς.

Όταν το ρομπότ κινείται αριστερά ή δεξιά (μέσες και δεξιά εικόνες), η αναπαράσταση δράσης με κέντρο την κάμερα δεν μπορεί να παρακολουθήσει την τροχιά αναφοράς, ενώ η αναπαράσταση σχετικής δράσης μπορεί να παρακολουθεί καλά την τροχιά αναφοράς.

Παρακολούθηση τροχιάς κάτω από διάφορες διαμορφώσεις ρομπότ

Εκτός από αυτό, η ομάδα αξιολόγησε επίσης το ποσοστό επιτυχίας της εργασίας των μοντέλων που εκπαιδεύτηκαν χρησιμοποιώντας διάφορες αναπαραστάσεις ενεργειών.

Τα αποτελέσματα δείχνουν ότι οι στρατηγικές που εκπαιδεύονται χρησιμοποιώντας αναπαραστάσεις σχετικής δράσης (εργαλειοκεντρικές αναπαραστάσεις ενεργειών και υβριδικές αναπαραστάσεις σχετικής δράσης) αποδίδουν καλά, ενώ οι στρατηγικές που εκπαιδεύονται με χρήση απόλυτης κινηματικής προς τα εμπρός αποτυγχάνουν.

Στην παρακάτω εικόνα, η επάνω σειρά είναι η εργασία ανύψωσης χαρτιού Το ρομπότ πρέπει να πιάσει τη γωνία του ελαστικού μαξιλαριού (ιστού) και να το σηκώσει προς τα πάνω.

Κατά τη διάρκεια της προπόνησης, η γωνία του ιστού παραμένει μέσα στο κόκκινο πλαίσιο, δείχνοντας τη διαμόρφωση της γωνίας κατά τη δοκιμή.

Η μεσαία σειρά είναι το μάζεμα και η παράδοση των βελόνων.

Κατά τη διάρκεια της προπόνησης, οι βελόνες τοποθετήθηκαν τυχαία μέσα σε κόκκινα κουτιά. Κατά τη δοκιμή, το κεντρικό εξόγκωμα της βελόνας τοποθετήθηκε σε 9 θέσεις όπως φαίνεται για να επιβάλει μια σταθερή ρύθμιση κατά την αξιολόγηση.

Στην κάτω σειρά, το ρομπότ είναι στη διαδικασία να δένει έναν κόμπο χρησιμοποιώντας το σχοινί στα αριστερά για να σχηματίσει έναν βρόχο, πιάνοντας το άκρο του σχοινιού μέσω του βρόχου και, στη συνέχεια, τραβώντας τους σφιγκτήρες μακριά ο ένας από τον άλλο.

Κατά τη διάρκεια της προπόνησης, η θέση σχοινιού από το ταπί τοποθετήθηκε τυχαία μέσα στο κόκκινο κουτί, ενώ κατά τη διάρκεια της δοκιμής, το σχοινί τοποθετήθηκε στο κέντρο του κόκκινου κουτιού.

Το παρακάτω βίντεο δείχνει τα αποτελέσματα μιας στρατηγικής προπόνησης με χρήση απόλυτης κινηματικής προς τα εμπρός (κίνηση με κέντρο την κάμερα) του χεριού.

Αυτές οι στρατηγικές απέτυχαν να ολοκληρώσουν την εργασία λόγω λαθών στην κινηματική προς τα εμπρός των χεριών του ντα Βίντσι, τα οποία αλλάζουν σημαντικά μεταξύ εκπαίδευσης και συμπερασμάτων.

Επιπλέον, οι ερευνητές παρατήρησαν ότι η κάμερα του καρπού είχε ως αποτέλεσμα σημαντικές βελτιώσεις στην απόδοση κατά την εκμάθηση χειρουργικών εργασιών.

Προφανώς, τα χειρουργικά ρομπότ που μπορούν να μάθουν αυτόνομα αναμένεται να επεκτείνουν περαιτέρω τις δυνατότητες των χειρουργών στο μέλλον.

Βιβλιογραφικές αναφορές:

https://surgical-robot-transformer.github.io/