nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapport sur le cœur de la machine

Département éditorial de Machine Heart

Un robot capable d’effectuer des opérations chirurgicales peut opérer avec style.

La chirurgie robotique a-t-elle été développée à ce point ? Elle a l'air très habile et exquise, et ses « mains » sont très stables.

J'ai vu les deux « mains » du robot se déplacer avec souplesse sur le porc pour coudre et faire des nœuds :

La solidité est juste et la « plaie » est parfaitement suturée :

Le robot peut également ramasser avec précision les aiguilles à coudre placées sur divers objets sans pincer autre chose :

Soulevez avec précision le tissu pour une observation et une manipulation ultérieures.

Les recherches mentionnées ci-dessus proviennent du robot da Vinci développé conjointement par l'Université Hopkins et l'Université de Stanford.

Adresse papier : https://surgical-robot-transformer.github.io/resources/surgical_robot_transformer.pdf

Page d'accueil du projet : https://surgical-robot-transformer.github.io/

Les membres de l'équipe comprennent Ji Woong (Brian) Kim, postdoctorant à l'Université Johns Hopkins qui a étudié auprès d'Axel Krieger et Chelsea Finn, qui ont également participé à la recherche, et Tony Z. Zhao, doctorant à l'Université de Stanford qui a travaillé sur Mobile ALOHA, Recherche ALOHA 2 sur les robots domestiques, son superviseur est Chelsea Finn ; Samuel Schmidgall est doctorant en première année en génie électrique et informatique à l'Université Johns Hopkins ; Anton Deguet est ingénieur de recherche adjoint à l'Université Johns Hopkins ; Université Hopkins.

Pendant longtemps, la recherche sur les robots s'est principalement concentrée sur l'accomplissement des activités ménagères quotidiennes et n'a pas été pleinement explorée dans le domaine de la chirurgie, notamment le robot da Vinci de la société de robots chirurgicaux Intuitive Surgical. Déjà déployés dans le monde entier, ces robots ont un énorme potentiel d'expansion : en 2021, plus de 10 millions d'interventions chirurgicales ont été réalisées à l'aide de 6 500 systèmes da Vinci dans 67 pays, et 55 000 chirurgiens ont été formés sur ces systèmes.

Cette étude explore si les tâches chirurgicales peuvent être apprises sur le robot da Vinci grâce à l'apprentissage par imitation. Pour atteindre cet objectif, ils introduisent une formulation d’action relative qui permet une formation et un déploiement politiques réussis à l’aide de données cinématiques approximatives. Cette approche permet d’utiliser directement de grandes quantités de données cliniques pour l’apprentissage robotique sans autre modification. Le robot résultant excelle dans trois tâches chirurgicales de base, notamment la manipulation des tissus, la manipulation des aiguilles et la confection de nœuds.

Ce robot chirurgical a été plébiscité par de nombreux internautes, qui l'ont qualifié d'"incroyable".

Aperçu de la méthode

La figure 3 ci-dessous montre le système dVRK, y compris le robot et la console distante pour l'interaction avec le médecin. Le dVRK dispose d'un manipulateur de caméra endoscopique (ECM) et de deux manipulateurs côté patient (PSM1, PSM2) qui partagent une base robotique. Chaque bras robotique est assemblé dans une séquence d'articulations passives (SUJ), suivies d'articulations actives motorisées.

Les joints passifs utilisent uniquement des potentiomètres pour les mesures des joints et sont donc très imprécis. Le joint actif utilise à la fois un potentiomètre et un encodeur moteur pour améliorer la précision. Cependant, d'une manière générale, l'utilisation de potentiomètres dans toutes les articulations rendra le mouvement vers l'avant du bras robotique imprécis, et l'erreur peut même atteindre 5 cm.

L’objectif des chercheurs est d’apprendre des tâches chirurgicales grâce à un apprentissage par imitation. Compte tenu du mouvement imprécis du robot vers l’avant, il est crucial de choisir une représentation du mouvement appropriée.Ils ont donc étudié trois représentations d’action, à savoirCentrée sur la caméra, centrée sur les outils et relative hybride, comme le montre la figure 4 ci-dessous.

Parmi elles, les approches centrées sur la caméra servent de référence, soulignant les limites de la modélisation des actions en tant que poses absolues des effecteurs finaux. Les approches centrées sur les outils sont améliorées et augmentent les taux de réussite en modélisant les actions sous forme de mouvements relatifs. La méthode relative hybride est encore améliorée par rapport à la méthode centrée sur l'outil en modélisant le mouvement de translation d'un cadre de référence fixe, et améliore la précision du mouvement de translation.

Examinons d'abord les actions centrées sur la caméra. Nous modélisons le mouvement centré sur la caméra comme la pose absolue de l'effecteur final par rapport au cadre supérieur de l'endoscope. Cette configuration est similaire à la façon dont les applications d'asservissement visuel basées sur la position (PBVS) sont mises en œuvre, ce qui en fait un choix naturel pour le dVRK.

Plus précisément, étant donné la valeur d'observation o_t au temps t, l'objectif est d'apprendre la politique π et de prédire la séquence d'action A_t, C = (a_t, ..., a_t+C), où C représente la plage de prédiction d'action.La politique est définie comme suit

Vient ensuite l’action centrée sur les outils. Nous modélisons les actions centrées sur l'outil sous forme de mouvement relatif par rapport au cadre actuel de l'effecteur final (c'est-à-dire le cadre du corps en mouvement). Par conséquent, les actions centrées sur les outils sont définies comme suit :

Enfin, il y a une action relative mitigée. Semblable au mouvement centré sur l’outil, les chercheurs ont modélisé le mouvement relatif hybride comme un mouvement relatif par rapport à deux référentiels différents. La translation incrémentielle est définie par rapport au cadre supérieur de l'endoscope, et la rotation incrémentielle est définie par rapport au cadre effecteur final actuel.Les actions relatives mixtes sont définies comme suit

Résultats expérimentaux

Lors de la collecte des données, le robot a été configuré comme le montre la figure 5 ci-dessous. Dans cette configuration, les chercheurs ont collecté 224 essais de levage de tissus, 250 essais de prélèvement et de remise d'aiguilles et 500 essais de nœuds. Toutes les expériences ont été collectées sur plusieurs jours par un seul utilisateur.

Évaluez le mouvement relatif pour vérifier sa cohérence avec le mouvement absolu vers l’avant. Les chercheurs ont cherché à comprendre si le mouvement relatif du dVRK montrait une plus grande cohérence que le mouvement absolu vers l’avant. Pour tester cette hypothèse, ils ont manipulé à distance des trajectoires de référence, comme le symbole de l'infini présenté sur la figure 5 .

L'effecteur final est ensuite placé dans la même pose initiale et les trajectoires sont reproduites à l'aide de différentes représentations de mouvement sous différentes configurations de robot. Ces différentes configurations impliquent de déplacer l'espace de travail du robot vers la gauche et la droite. Bien entendu, le mouvement de ces espaces de travail entraînera le mouvement des articulations de réglage du robot, et comme seuls des potentiomètres sont utilisés pour les mesures des articulations, ces articulations peuvent facilement conduire à des erreurs de mesure importantes.

Le tableau 1 ci-dessous montre les résultats numériques de l'erreur quadratique moyenne (RMSE). Dans la configuration de référence, puisque les articulations définies ne bougent pas, toutes les représentations de mouvement reconstruisent avec précision les trajectoires de référence.

De plus, en termes de représentation des actions relatives, les trajectoires de référence des méthodes relatives centrées sur l'outil et hybrides sont plus cohérentes lorsqu'elles sont répétées, et les erreurs numériques ne changent pas de manière significative. En conclusion, en présence d’erreurs de mesure articulaires incohérentes, le mouvement relatif du dVRK se comporte de manière plus cohérente que son mouvement absolu vers l’avant.

Ensuite, les chercheurs ont évalué les performances de la stratégie en utilisant différentes représentations d’actions telles que soulever des tissus, ramasser et remettre des aiguilles et faire des nœuds. Les résultats sont présentés dans le tableau 2 ci-dessous. La représentation des actions centrée sur la caméra fonctionne mal dans les trois tâches.

La représentation des actions centrée sur les outils a montré de meilleures performances dans les trois tâches. Cependant, pendant le processus de prélèvement et de transfert des aiguilles, le transfert échoue souvent lorsque des opérations de rotation importantes sont effectuées. Surtout après avoir ramassé l'aiguille, le support gauche doit être tourné d'environ 90 degrés pour transférer l'aiguille vers l'autre bras robotique, comme le montre la figure 6 ci-dessous. Lors de cette phase de mouvement, l'orientation de la pince semble correcte, mais le mouvement de translation ne semble pas correct, ce qui peut être la cause de la panne.