noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nuevo informe de sabiduría

Editor: Departamento Editorial

[Introducción a la Nueva Sabiduría] ¡El autor del Shrimp Fried Robot de Stanford ha publicado un nuevo trabajo! A través del aprendizaje por imitación, el robot Da Vinci aprendió a realizar "cirugía" por sí solo: levantar tejido, recoger agujas, suturar y hacer nudos. Lo más importante es que realiza todas las acciones anteriores de forma independiente.

El autor del Stanford Shrimp Robot ha publicado un nuevo trabajo.

Esta vez, el robot no nos prepara arroz frito, ¡sino que nos opera!

Recientemente, investigadores de Johns Hopkins y la Universidad de Stanford llevaron a cabo una nueva exploración:

¿Puede el famoso robot médico Da Vinci aprender tareas quirúrgicas mediante el aprendizaje por imitación?

¡Después de experimentar, lo lograron!

Da Vinci puede completar las tres tareas quirúrgicas básicas de manipulación de tejidos, manejo de agujas y anudado de forma independiente.

La primera es la técnica de sutura y anudado que requiere que los estudiantes de medicina practiquen sus habilidades con los dedos. Vi el "hilo de aguja voladora" de Leonardo da Vinci y pudo hacer el nudo con mucha habilidad:

El siguiente paso es recoger y entregar la aguja. Da Vinci también puede operarla con precisión al mismo tiempo sin ningún descuido.

La tercera tarea importante es elevar la organización. Se puede ver que Da Vinci eligió el enfoque correcto y levantó la organización fácilmente.

¡Lo más importante es que Leonardo da Vinci realizó todas las acciones anteriores de forma independiente!

Efectivamente, este nivel de operación delicada tiene un olor familiar sin importar cómo se mire.

Dirección del artículo: https://arxiv.org/abs/2407.12998

Dirección del blog: https://surgical-robot-transformer.github.io/

Recuerde, en comparación con las operaciones de escritorio en un entorno doméstico, las tareas quirúrgicas requieren una manipulación precisa de objetos deformables y enfrentan problemas de percepción difíciles con iluminación y oclusión inconsistentes.

Además, los robots quirúrgicos a menudo pueden tener propiocepción e histéresis inexactas.

¿Cómo superaron estos problemas?

Gran depósito de datos clínicos, los robots pueden aprender

El aprendizaje por imitación a gran escala es muy prometedor en sistemas de propósito general para tareas operativas, como hacer que los robots hagan las tareas domésticas por nosotros.

Pero esta vez los investigadores se centran en el campo de la cirugía.

El campo de la cirugía es un campo sin explotar con un enorme potencial, especialmente con la ayuda del robot quirúrgico da Vinci.

Hasta 2021, se han utilizado 6500 sistemas da Vinci en 67 países de todo el mundo y se han realizado más de 10 millones de cirugías.

Además, los procedimientos de estas cirugías se registraron en su totalidad, lo que nos brindó un gran depósito de datos de demostración.

¿Se pueden utilizar datos a tan gran escala para construir un sistema generalista para cirugía autónoma?

Sin embargo, cuando los investigadores comenzaron a estudiar, descubrieron que existe una dificultad para permitir que el robot Da Vinci realice operaciones quirúrgicas mediante el aprendizaje por imitación.

La naturaleza única del sistema DaVinci crea desafíos únicos que dificultan la implementación del aprendizaje por imitación.

La parte superior derecha es el entorno médico real y la parte inferior derecha es la configuración experimental del investigador.

Además, debido a que las mediciones conjuntas son imprecisas, su cinemática directa será inconsistente y el simple hecho de entrenar una política utilizando estos datos cinemáticos aproximados a menudo conducirá al fracaso de la tarea.

El robot no puede realizar ni siquiera una simple tarea de servicio visual. Las políticas entrenadas para generar poses absolutas de efector final (un enfoque común para entrenar políticas de robots) tienen una tasa de éxito cercana a 0 en todas las tareas.

¿Cómo superar esta limitación?

El equipo descubrió que el movimiento relativo del sistema da Vinci es más consistente que su cinemática directa absoluta.

Por lo tanto, pensaron en una manera: introducir una fórmula de acción relativa y utilizar sus datos cinemáticos aproximados para el entrenamiento y despliegue de estrategias.

Consideraron tres opciones: operaciones centradas en cámaras, centradas en herramientas y relacionadas con híbridos.

La representación de la acción centrada en la cámara es un enfoque básico que modela la acción como la pose absoluta del efector final en relación con la punta del endoscopio.Las otras dos son fórmulas relativas que definen acciones relativas al marco de la herramienta actual (es decir, efector final) o al marco de la punta del endoscopio.

Luego, la política se entrena utilizando imágenes como entrada y las representaciones de acciones anteriores.

En este sentido, su enfoque es diferente del trabajo anterior, que utilizó datos cinemáticos como entrada. Sin embargo, en este trabajo, los datos cinemáticos de Da Vinci pueden no ser confiables.

Su modelo se basa en ACT, una arquitectura basada en Transformer.

El equipo propuso un diseño de estrategia que solo toma gráficos como entrada y genera trayectorias de actitud relativas.

Si este enfoque tiene éxito, grandes repositorios de datos clínicos que contengan cinemática aproximada podrían usarse directamente para el aprendizaje de robots sin necesidad de más correcciones.

Sin duda, esto es de gran importancia para las operaciones clínicas quirúrgicas de robots.

Efectivamente, después de introducir la fórmula de acción relativa, el equipo utilizó datos cinemáticos aproximados para demostrar con éxito el aprendizaje por imitación en DaVinci. No solo no requirió mayor corrección cinemática, sino que el efecto también fue mucho mejor que el método de referencia.

Los experimentos muestran que el aprendizaje por imitación no sólo puede aprender eficazmente tareas quirúrgicas complejas, sino también generalizarlas a nuevos escenarios, como por ejemplo en tejidos humanos reales invisibles.

Además, la cámara de muñeca también es muy importante para aprender las tareas de operación quirúrgica.

Ahora, además de las tareas autónomas demostradas anteriormente de manipulación de tejidos, manejo de agujas y atado de nudos, el robot da Vinci también puede realizar una variedad de operaciones.

Generalización de tiro cero

El modelo del equipo de Stanford ha demostrado capacidad de adaptación a nuevos escenarios, como la presencia de tejido animal desconocido.

Este es un vídeo de Leonardo da Vinci cosiendo y atando carne de cerdo.

Si fuera pollo, Da Vinci también podría recoger con precisión la aguja quirúrgica colocada en la superficie de la carne.

Esto es prometedor para la expansión en futuros estudios clínicos.

comportamiento de reintento

Entonces, si hay algunas perturbaciones ambientales, ¿podrá Leonardo da Vinci seguir funcionando de manera estable?

Se puede ver que después de que otros instrumentos irrumpieron repentinamente y despegaron deliberadamente las suturas quirúrgicas, Leonardo da Vinci no se detuvo y continuó el acto de anudar.

A lo largo del vídeo a continuación, el da Vinci no logra recoger la aguja quirúrgica durante la primera operación. Rápidamente se da cuenta de este hecho y recoge la aguja con éxito mediante el ajuste automático.

prueba de repetibilidad

La cirugía clínica no es un juego de niños. El robot clínico debe ser reproducible y su capacidad esencial es “infalible”.

El equipo de investigación publicó un vídeo de la prueba de repetibilidad de Da Vinci y observó sus múltiples operaciones desde diferentes ángulos de visión, y fue básicamente impecable.

Camino técnico

Como se muestra en la figura siguiente, el sistema dVRK del robot da Vinci consta de un manipulador de cámara endoscópica (ECM) y dos manipuladores del lado del paciente (PSM1, PSM2) que comparten la misma base del robot.

Cada brazo es una combinación secuencial de articulaciones fijadas pasivamente, seguidas de articulaciones activas motorizadas.

Sin embargo, en general, el uso de potenciómetros en todas las articulaciones dará como resultado una cinemática hacia adelante inexacta del brazo, incluso hasta 5 cm.

Desafortunadamente, los datos de cinemática directa proporcionados por dVRK no son estables. Esto se debe a que para configurar la junta (azul) solo se utiliza un potenciómetro para medir la junta, lo cual no es confiable.La junta activa (rosa) utiliza un potenciómetro y un codificador de motor para mejorar la precisión.

Para permitir que Da Vinci complete las tareas de operación quirúrgica mediante el aprendizaje por imitación, en vista de la cinemática directa inexacta del robot, el equipo propuso los tres métodos de representación de acciones mencionados anteriormente, entre los cuales el método relativo mixto mejoró aún más la precisión de los movimientos de traslación.

Detalles de implementacion

Para formar políticas viables se estudia el uso de action fragmenting con Transformer (ACT) y estrategias de difusión.

Entrenaron la política utilizando imágenes de cámaras endoscópicas y de muñeca como entrada, que se redujeron a un tamaño de imagen de 224x224x3.

El tamaño de entrada original de la imagen endoscópica quirúrgica es 1024x1280x3 y la imagen de la muñeca es 480x640x3.

Los datos cinemáticos no se proporcionan como entrada como es común en otros métodos de aprendizaje por imitación porque los datos cinemáticos a menudo son inconsistentes debido a las limitaciones de diseño de dVRK.

El resultado de la política incluye la posición del efector final (delta), la orientación (delta) y el ángulo mandibular de ambos brazos.

procedimiento del experimento

En este experimento, el objetivo de los investigadores era encontrar las respuestas a estas preguntas:

1. ¿Es suficiente el aprendizaje por imitación para tareas quirúrgicas complejas? 2. ¿Es el movimiento relativo de dVRK más estable que su cinemática directa absoluta? 3. ¿Es fundamental el uso de una cámara de muñeca para mejorar las tasas de éxito? 4. ¿Puede el modelo generalizarse eficazmente en escenarios nuevos e invisibles?

Lo primero que hay que evaluar es si el movimiento relativo de Da Vinci es más consistente que su cinemática directa absoluta.

El método de evaluación consiste en registrar repetidamente trayectorias de referencia utilizando fórmulas de movimiento absoluto y relativo en diferentes configuraciones de robot.

Específicamente, el robot necesita colocar el brazo y el endoscopio en posiciones más o menos similares utilizando los mismos agujeros en una cúpula que simula el abdomen humano.

Esta tarea no es trivial porque el orificio es mucho más grande que las dimensiones del endoscopio y el eje de la herramienta, y la herramienta debe colocarse manualmente en el orificio moviendo la junta de montaje.

En general, los experimentos muestran que el movimiento relativo es más consistente en presencia de errores de medición. Por lo tanto, modelar acciones estratégicas como movimiento relativo es una mejor opción.

En esta configuración, se recopilaron un total de 224 experimentos de levantamiento de tejido, 250 experimentos de recogida y entrega de agujas y 500 experimentos de anudado.

La Figura 5 muestra trayectorias de referencia registradas repetidamente bajo varias configuraciones de robot para probar la repetibilidad de todas las representaciones de acciones.

La imagen de la izquierda muestra una reconstrucción perfecta de la trayectoria de referencia para todas las representaciones de movimiento, ya que las articulaciones del robot no se han movido desde que se adquirió la trayectoria de referencia.

Cuando el robot se mueve hacia la izquierda o hacia la derecha (imágenes del medio y la derecha), la representación de acción centrada en la cámara no puede seguir la trayectoria de referencia, mientras que la representación de acción relativa puede seguir bien la trayectoria de referencia.

Seguimiento de trayectoria bajo varias configuraciones de robot.

Además de esto, el equipo también evaluó la tasa de éxito de las tareas de los modelos entrenados utilizando varias representaciones de acciones.

Los resultados muestran que las estrategias entrenadas utilizando representaciones de acción relativa (representaciones de acción centradas en herramientas y representaciones de acción relativa híbridas) funcionan bien, mientras que las estrategias entrenadas utilizando cinemática directa absoluta fallan.

En la imagen siguiente, la fila superior es la tarea de levantamiento de tejido. El robot debe agarrar la esquina de la almohadilla de goma (tejido) y levantarla hacia arriba.

Durante el entrenamiento, la esquina del tejido permanece dentro del cuadro rojo, lo que muestra la configuración de la esquina en la prueba.

La fila del medio es la recogida y entrega de agujas.

Durante el entrenamiento, se colocaron agujas al azar dentro de cajas rojas. Durante la prueba, la joroba central de la aguja se colocó en 9 posiciones, como se muestra, para imponer una configuración constante durante la evaluación.

En la fila inferior, el robot está en el proceso de hacer un nudo usando la cuerda de la izquierda para formar un bucle, agarrando el extremo de la cuerda a través del bucle y luego separando las abrazaderas entre sí.

Durante el entrenamiento, la posición de la cuerda desde la colchoneta se colocó aleatoriamente dentro del cuadro rojo, mientras que durante la prueba, la cuerda se colocó en el centro del cuadro rojo.

El siguiente vídeo muestra los resultados de una estrategia de entrenamiento que utiliza cinemática directa absoluta (movimiento centrado en la cámara) del brazo.

Estas estrategias no lograron completar la tarea debido a errores en la cinemática delantera de los brazos de da Vinci, que cambian significativamente entre el entrenamiento y la inferencia.

Además, los investigadores observaron que la cámara de muñeca resultó en mejoras significativas en el rendimiento al aprender tareas quirúrgicas.

Obviamente, se espera que los robots quirúrgicos que puedan aprender de forma autónoma amplíen aún más las capacidades de los cirujanos en el futuro.

Referencias:

https://surgical-robot-transformer.github.io/