nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nouveau rapport de sagesse

Editeur : Service éditorial

[Introduction à la nouvelle sagesse] L’auteur de Shrimp Fried Robot de Stanford a publié un nouvel ouvrage ! Grâce à l'apprentissage par imitation, le robot Da Vinci a appris à effectuer une « chirurgie » par lui-même : soulever des tissus, ramasser des aiguilles, suturer et faire des nœuds. Le plus important est qu’il effectue toutes les actions ci-dessus de manière indépendante.

L'auteur du Stanford Shrimp Robot a publié un nouvel ouvrage.

Cette fois, le robot ne nous prépare pas de riz frit, mais nous opère !

Récemment, des chercheurs de Johns Hopkins et de l'Université de Stanford ont mené une nouvelle exploration——

Le célèbre robot médical Da Vinci peut-il apprendre des tâches chirurgicales grâce à l'apprentissage par imitation ?

Après avoir expérimenté, ils ont réussi !

Da Vinci peut effectuer indépendamment les trois tâches chirurgicales de base que sont la manipulation des tissus, la manipulation des aiguilles et le nouage.

La première est la technique de suture et de nouage qui demande aux étudiants en médecine de pratiquer leurs doigts. J'ai vu le « fil d'aiguille volante » de Léonard de Vinci et il a réussi à faire le nœud très habilement :

L'étape suivante consiste à récupérer et à remettre l'aiguille. Da Vinci peut également la faire fonctionner avec précision en une seule fois, sans aucune négligence.

La troisième tâche majeure est de relever l'organisation. On peut voir que Da Vinci a choisi la bonne orientation et a facilement soulevé l'organisation.

Le plus important est que toutes les actions ci-dessus ont été réalisées par Léonard de Vinci de manière indépendante !

Effectivement, ce niveau d'opération délicate a une odeur familière, peu importe comment vous le regardez.

Adresse papier : https://arxiv.org/abs/2407.12998

Adresse du blog : https://surgical-robot-transformer.github.io/

N'oubliez pas que par rapport aux opérations de bureau dans un environnement domestique, les tâches chirurgicales nécessitent une manipulation précise d'objets déformables et sont confrontées à de graves problèmes de perception en raison d'un éclairage et d'une occlusion incohérents.

De plus, les robots chirurgicaux peuvent souvent avoir une proprioception et une hystérésis inexactes.

Comment ont-ils surmonté ces problèmes ?

Grand référentiel de données cliniques, les robots peuvent apprendre

L’apprentissage par imitation à grande échelle s’avère très prometteur dans les systèmes à usage général pour des tâches opérationnelles, telles que demander à des robots de faire le ménage à notre place.

Mais cette fois, les chercheurs se concentrent sur le domaine de la chirurgie.

Le domaine de la chirurgie est un domaine inexploité avec un énorme potentiel, notamment avec l’aide du robot chirurgical Da Vinci.

En 2021, 6 500 systèmes Da Vinci ont été utilisés dans 67 pays à travers le monde et plus de 10 millions d’interventions chirurgicales ont été réalisées.

De plus, les procédures de ces chirurgies ont été entièrement enregistrées, ce qui nous a donné un vaste référentiel de données de démonstration.

Des données à si grande échelle peuvent-elles être utilisées pour construire un système généraliste de chirurgie autonome ?

Cependant, lorsque les chercheurs ont commencé à étudier, ils ont découvert qu'il était difficile de laisser le robot Da Vinci effectuer des opérations chirurgicales grâce à un apprentissage par imitation -

La nature unique du système DaVinci crée des défis uniques qui entravent la mise en œuvre de l’apprentissage par imitation.

Le coin supérieur droit représente l’environnement médical réel et le coin inférieur droit représente la configuration expérimentale du chercheur.

De plus, comme les mesures conjointes sont imprécises, leur cinématique avant sera incohérente, et le simple fait de former une politique utilisant ces données cinématiques approximatives conduira souvent à l'échec de la tâche.

Même une simple tâche d’asservissement visuel ne peut pas être effectuée par le robot. Les politiques formées pour produire des poses d'effecteur final absolues (une approche courante pour la formation des politiques de robots) ont un taux de réussite proche de 0 dans toutes les tâches.

Comment surmonter cette limitation ?

L'équipe a découvert que le mouvement relatif du système Da Vinci est plus cohérent que sa cinématique avant absolue.

Ils ont donc pensé à un moyen : introduire une formule d'action relative et utiliser ses données cinématiques approximatives pour l'entraînement et le déploiement de stratégies.

Ils ont envisagé trois options : les opérations centrées sur la caméra, centrées sur les outils et hybrides.

La représentation de l'action centrée sur la caméra est une approche de base qui modélise l'action comme la pose absolue de l'effecteur final par rapport à la pointe de l'endoscope.Les deux autres sont des formules relatives qui définissent les actions par rapport au cadre de l'outil actuel (c'est-à-dire l'effecteur final) ou au cadre de la pointe de l'endoscope.

Ensuite, la politique est formée en utilisant des images comme entrée et les représentations d'action ci-dessus.

À cet égard, leur approche est différente des travaux antérieurs, qui utilisaient des données cinématiques comme données d'entrée. Cependant, dans ce travail, les données cinématiques de Da Vinci pourraient ne pas être fiables.

Leur modèle est basé sur ACT, une architecture basée sur Transformer.

L'équipe a proposé une conception de stratégie qui prend uniquement des graphiques en entrée et génère des trajectoires d'attitude relative.

Si cette approche réussit, de grands référentiels de données cliniques contenant une cinématique approximative pourraient être utilisés directement pour l’apprentissage des robots sans autre correction.

Ceci revêt sans aucun doute une grande importance pour les opérations chirurgicales cliniques des robots.

Effectivement, après avoir introduit la formule d'action relative, l'équipe a utilisé des données cinématiques approximatives pour démontrer avec succès l'apprentissage par imitation sur DaVinci. Non seulement cela ne nécessitait pas de correction cinématique supplémentaire, mais l'effet était également bien meilleur que la méthode de base.

Les expériences montrent que l’apprentissage par imitation peut non seulement apprendre efficacement des tâches chirurgicales complexes, mais également se généraliser à de nouveaux scénarios, comme sur de vrais tissus humains invisibles.

De plus, la caméra-bracelet est également très importante pour l'apprentissage des tâches chirurgicales.

Désormais, en plus des tâches autonomes précédemment démontrées de manipulation des tissus, de manipulation des aiguilles et de nouage, le robot da Vinci peut également effectuer diverses opérations.

Généralisation du tir zéro

Le modèle de l'équipe de Stanford a montré sa capacité à s'adapter à de nouveaux scénarios, comme la présence de tissus animaux inconnus.

Ceci est une vidéo de Léonard de Vinci cousant et attachant du porc -

S'il s'agissait de poulet, Da Vinci pourrait également ramasser avec précision l'aiguille chirurgicale placée à la surface de la viande.

Cela semble prometteur pour une expansion dans les futures études cliniques.

comportement de nouvelle tentative

Alors, en cas de perturbations environnementales, Léonard de Vinci peut-il encore fonctionner de manière stable ?

On peut voir qu'après que d'autres instruments se soient soudainement introduits et aient délibérément décollé les sutures chirurgicales, Léonard de Vinci ne s'est pas arrêté et a continué l'acte de nouage.

Tout au long de la vidéo ci-dessous, le Da Vinci ne parvient pas à récupérer l'aiguille chirurgicale lors de la première opération. Il s'en rend rapidement compte et réussit à récupérer l'aiguille grâce à un réglage automatique.

essai de répétabilité

La chirurgie clinique n’est pas un jeu d’enfant. Le robot clinique doit être reproductible et « infaillible » est sa capacité essentielle.

L'équipe de recherche a publié une vidéo du test de répétabilité de Da Vinci et a observé ses multiples opérations sous différents angles de vue, et elle s'est avérée fondamentalement impeccable.

Parcours technique

Comme le montre la figure ci-dessous, le système dVRK du robot da Vinci se compose d'un manipulateur de caméra endoscopique (ECM) et de deux manipulateurs côté patient (PSM1, PSM2) qui partagent la même base de robot.

Chaque bras est une combinaison séquentielle d’articulations à réglage passif, suivies d’articulations actives motorisées.

Cependant, en général, l’utilisation de potentiomètres dans toutes les articulations entraînera une cinématique avant du bras imprécise, même jusqu’à 5 cm.

Malheureusement, les données cinématiques avant fournies par dVRK ne sont pas stables. En effet, le réglage du joint (bleu) utilise uniquement un potentiomètre pour la mesure du joint, ce qui n'est pas fiable.Le joint actif (rose) utilise à la fois un potentiomètre et un encodeur moteur pour améliorer la précision

Afin de permettre à Da Vinci d'effectuer des tâches chirurgicales grâce à un apprentissage par imitation, compte tenu de la cinématique avant imprécise du robot, l'équipe a proposé les trois méthodes de représentation des actions mentionnées ci-dessus, parmi lesquelles la méthode relative mixte a encore amélioré la précision des mouvements de translation.

Détails d'implémentation

Afin de former des politiques réalisables, l'utilisation du découpage d'actions avec Transformer (ACT) et des stratégies de diffusion sont étudiées.

Ils ont formé la politique en utilisant comme entrée des images endoscopiques et de caméra-bracelet, qui ont été réduites à une taille d'image de 224 x 224 x 3.

La taille d'entrée originale de l'image endoscopique chirurgicale est de 1 024 x 1 280 x 3 et celle du poignet est de 480 x 640 x 3.

Les données cinématiques ne sont pas fournies en entrée comme cela est courant dans d'autres méthodes d'apprentissage par imitation, car les données cinématiques sont souvent incohérentes en raison des limites de conception du dVRK.

Les résultats de la politique incluent la position de l'effecteur terminal (delta), l'orientation (delta) et l'angle mandibulaire des deux bras.

procédure d'expérimentation

Dans cette expérience, l'objectif des chercheurs était de trouver les réponses à ces questions :

1. L’apprentissage par imitation est-il suffisant pour les tâches chirurgicales complexes ? 2. Le mouvement relatif du dVRK est-il plus stable que sa cinématique avant absolue ? 3. L’utilisation d’une caméra-bracelet est-elle essentielle pour améliorer les taux de réussite ? 4. Le modèle peut-il se généraliser efficacement dans des scénarios nouveaux et inédits ?

La première chose à évaluer est de savoir si le mouvement relatif de Léonard de Vinci est plus cohérent que sa cinématique avant absolue.

La méthode d'évaluation consiste à enregistrer de manière répétée des trajectoires de référence à l'aide de formules de mouvement absolu et relatif sous différentes configurations de robot.

Plus précisément, le robot doit placer le bras et l'endoscope dans des positions à peu près similaires en utilisant les mêmes trous dans un dôme qui simule l'abdomen humain.

Cette tâche n'est pas anodine car le trou est beaucoup plus grand que les dimensions de l'endoscope et de la tige de l'outil, et l'outil doit être placé manuellement dans le trou en déplaçant le joint de montage.

Dans l’ensemble, les expériences montrent que le mouvement relatif est plus cohérent en présence d’erreurs de mesure. Par conséquent, modéliser les actions stratégiques sous forme de mouvement relatif est un meilleur choix.

Dans cette configuration, un total de 224 expériences de lifting des tissus, 250 expériences de prélèvement et de transfert d'aiguilles et 500 expériences de nouage ont été collectées.

La figure 5 montre des trajectoires de référence enregistrées à plusieurs reprises sous diverses configurations de robot pour tester la répétabilité de toutes les représentations d'action.

L'image de gauche montre une reconstruction parfaite de la trajectoire de référence pour toutes les représentations de mouvement, puisque les articulations du robot n'ont pas bougé depuis l'acquisition de la trajectoire de référence.

Lorsque le robot se déplace vers la gauche ou la droite (images du milieu et de droite), la représentation d'action centrée sur la caméra ne peut pas suivre la trajectoire de référence, tandis que la représentation d'action relative peut bien suivre la trajectoire de référence.

Suivi de trajectoire sous diverses configurations de robot

En plus de cela, l’équipe a également évalué le taux de réussite des tâches des modèles formés à l’aide de diverses représentations d’actions.

Les résultats montrent que les stratégies entraînées à l’aide de représentations d’actions relatives (représentations d’actions centrées sur les outils et représentations d’actions relatives hybrides) fonctionnent bien, tandis que les stratégies entraînées à l’aide de la cinématique avant absolue échouent.

Dans l'image ci-dessous, la rangée supérieure correspond à la tâche de levage des tissus. Le robot doit saisir le coin du tampon en caoutchouc (tissu) et le soulever vers le haut.

Pendant l'entraînement, le coin du tissu reste dans la case rouge, indiquant la configuration du coin au test.

La rangée du milieu est celle du ramassage et de la remise des aiguilles.

Pendant l’entraînement, les aiguilles étaient placées au hasard dans des boîtes rouges. Lors du test, la bosse centrale de l'aiguille a été placée dans 9 positions, comme indiqué, pour garantir un réglage cohérent lors de l'évaluation.

Dans la rangée inférieure, le robot est en train de faire un nœud en utilisant la corde de gauche pour former une boucle, en saisissant l'extrémité de la corde à travers la boucle, puis en éloignant les pinces les unes des autres.

Pendant l'entraînement, la position de la corde du tapis était placée au hasard dans la case rouge, tandis que lors des tests, la corde était placée au centre de la case rouge.

La vidéo ci-dessous montre les résultats d'une stratégie d'entraînement utilisant la cinématique avant absolue (mouvement centré sur la caméra) du bras.

Ces stratégies n'ont pas réussi à accomplir la tâche en raison d'erreurs dans la cinématique avant des bras de Léonard de Vinci, qui changent considérablement entre l'entraînement et l'inférence.

De plus, les chercheurs ont observé que la caméra au poignet entraînait des améliorations significatives des performances lors de l’apprentissage des tâches chirurgicales.

De toute évidence, les robots chirurgicaux capables d’apprendre de manière autonome devraient accroître encore les capacités des chirurgiens à l’avenir.

Les références:

https://surgical-robot-transformer.github.io/