Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Neuer Weisheitsbericht

Herausgeber: Redaktion

[Einführung in die neue Weisheit] Der Autor von Stanford’s Shrimp Fried Robot hat ein neues Werk veröffentlicht! Durch Nachahmungslernen lernte der Da Vinci-Roboter, selbstständig „Operationen“ durchzuführen – Gewebe anzuheben, Nadeln aufzuheben sowie zu nähen und Knoten zu knüpfen. Das Wichtigste ist, dass es alle oben genannten Aktionen selbstständig ausführt.

Der Autor des Stanford Shrimp Robot hat ein neues Werk veröffentlicht.

Diesmal bereitet uns der Roboter keinen gebratenen Reis zu, sondern führt eine Operation an uns durch!

Kürzlich führten Forscher von Johns Hopkins und der Stanford University eine neue Untersuchung durch –

Kann der berühmte medizinische Roboter Da Vinci chirurgische Aufgaben durch Nachahmungslernen erlernen?

Nach dem Experimentieren gelang es ihnen!

Da Vinci kann die drei grundlegenden chirurgischen Aufgaben Gewebemanipulation, Nadelhandhabung und Knoten unabhängig voneinander ausführen.

Das erste ist die Naht- und Knotentechnik, bei der Medizinstudenten ihre Fingerfertigkeiten üben müssen. Ich habe Leonardo da Vincis „fliegenden Nadelfaden“ gesehen und er konnte den Knoten sehr geschickt knüpfen:

Der nächste Schritt ist das Aufnehmen und Überreichen der Nadel. Da Vinci kann sie auch gleichzeitig präzise bedienen, ohne dass es zu Schlamperei kommt.

Die dritte große Aufgabe besteht darin, die Organisation anzuheben. Es ist ersichtlich, dass Da Vinci den richtigen Fokus gewählt und die Organisation leicht angehoben hat.

Das Wichtigste ist, dass alle oben genannten Aktionen von Leonardo da Vinci unabhängig voneinander durchgeführt wurden!

Tatsächlich hat dieser heikle Vorgang einen vertrauten Geruch, egal wie man ihn betrachtet.

Papieradresse: https://arxiv.org/abs/2407.12998

Blog-Adresse: https://surgical-robot-transformer.github.io/

Denken Sie daran, dass chirurgische Aufgaben im Vergleich zu Desktop-Operationen in einer häuslichen Umgebung eine präzise Handhabung verformbarer Objekte erfordern und mit schwierigen Wahrnehmungsproblemen aufgrund inkonsistenter Beleuchtung und Okklusion verbunden sind.

Darüber hinaus können chirurgische Roboter häufig eine ungenaue Propriozeption und Hysterese aufweisen.

Wie haben sie diese Probleme überwunden?

Großes klinisches Datenarchiv, Roboter können lernen

Nachahmungslernen in großem Maßstab ist bei Allzwecksystemen für Betriebsaufgaben vielversprechend, beispielsweise wenn Roboter die Hausarbeit für uns erledigen.

Doch dieses Mal konzentrieren sich die Forscher auf den Bereich der Chirurgie.

Der Bereich der Chirurgie ist ein unerschlossenes Feld mit großem Potenzial, insbesondere mit Hilfe des Operationsroboters da Vinci.

Bis 2021 wurden 6.500 da Vinci-Systeme in 67 Ländern auf der ganzen Welt eingesetzt und mehr als 10 Millionen Operationen durchgeführt.

Darüber hinaus wurden die Abläufe dieser Operationen vollständig aufgezeichnet, sodass wir über einen großen Bestand an Demonstrationsdaten verfügen.

Können solch große Datenmengen genutzt werden, um ein allgemeines System für die autonome Chirurgie aufzubauen?

Als die Forscher jedoch mit der Untersuchung begannen, stellten sie fest, dass es schwierig ist, den Da Vinci-Roboter durch Nachahmungslernen chirurgische Eingriffe durchführen zu lassen –

Die Einzigartigkeit des DaVinci-Systems schafft einzigartige Herausforderungen, die die Umsetzung von Nachahmungslernen behindern.

Oben rechts ist die reale medizinische Umgebung und unten rechts der Versuchsaufbau des Forschers.

Da die Gelenkmessungen außerdem ungenau sind, wird ihre Vorwärtskinematik inkonsistent sein, und das einfache Trainieren einer Richtlinie unter Verwendung dieser ungefähren kinematischen Daten führt häufig zum Scheitern der Aufgabe.

Selbst eine einfache visuelle Servoaufgabe kann der Roboter nicht ausführen. Richtlinien, die darauf trainiert sind, absolute Endeffektor-Posen auszugeben (ein üblicher Ansatz zum Trainieren von Roboterrichtlinien), weisen bei allen Aufgaben eine Erfolgsquote nahe 0 auf.

Wie kann diese Einschränkung überwunden werden?

Das Team stellte fest, dass die relative Bewegung des da Vinci-Systems konsistenter ist als seine absolute Vorwärtskinematik.

Deshalb dachten sie über einen Weg nach: Einführung einer relativen Aktionsformel und Verwendung ihrer ungefähren kinematischen Daten für das Strategietraining und den Einsatz.

Sie erwogen drei Optionen: kamerazentrierte, werkzeugzentrierte und hybridbezogene Vorgänge.

Die kamerazentrierte Aktionsdarstellung ist ein grundlegender Ansatz, der die Aktion als absolute Pose des Endeffektors relativ zur Endoskopspitze modelliert.Die anderen beiden sind relative Formeln, die Aktionen relativ zum aktuellen Werkzeugrahmen (d. h. Endeffektor) oder Endoskopspitzenrahmen definieren

Anschließend wird die Richtlinie mithilfe von Bildern als Eingabe und den oben genannten Aktionsdarstellungen trainiert.

In dieser Hinsicht unterscheidet sich ihr Ansatz von früheren Arbeiten, bei denen kinematische Daten als Eingabe verwendet wurden. In dieser Arbeit sind die kinematischen Daten von Da Vinci jedoch möglicherweise nicht zuverlässig.

Ihr Modell basiert auf ACT, einer Transformer-basierten Architektur.

Das Team schlug einen Strategieentwurf vor, der nur Grafiken als Eingabe verwendet und relative Fluglagen ausgibt

Wenn dieser Ansatz erfolgreich ist, könnten große klinische Datenrepositorys mit ungefähren Kinematiken ohne weitere Korrektur direkt für das Roboterlernen verwendet werden.

Dies ist zweifellos von großer Bedeutung für klinisch-chirurgische Operationen von Robotern.

Tatsächlich nutzte das Team nach der Einführung der relativen Wirkungsformel ungefähre kinematische Daten, um das Nachahmungslernen auf DaVinci erfolgreich zu demonstrieren. Es war nicht nur keine weitere kinematische Korrektur erforderlich, sondern der Effekt war auch viel besser als bei der Basismethode.

Experimente zeigen, dass durch Nachahmungslernen nicht nur komplexe chirurgische Aufgaben effektiv erlernt, sondern auch auf neue Szenarien übertragen werden können, beispielsweise auf unsichtbares echtes menschliches Gewebe.

Darüber hinaus ist die Handgelenkkamera auch für das Erlernen chirurgischer Operationsaufgaben sehr wichtig.

Zusätzlich zu den zuvor demonstrierten autonomen Aufgaben der Gewebemanipulation, der Nadelhandhabung und dem Knotenbinden kann der Da-Vinci-Roboter nun auch eine Vielzahl von Operationen durchführen.

Zero-Shot-Verallgemeinerung

Das Modell des Stanford-Teams hat gezeigt, dass es in der Lage ist, sich an neue Szenarien anzupassen, beispielsweise an das Vorhandensein unbekannten tierischen Gewebes.

Dies ist ein Video von Leonardo da Vinci, wie er Schweinefleisch näht und bindet -

Wenn es Hühnchen wäre, könnte Da Vinci auch die chirurgische Nadel, die auf der Oberfläche des Fleisches platziert ist, genau erfassen.

Dies ist vielversprechend für eine Ausweitung in zukünftigen klinischen Studien.

Wiederholungsverhalten

Kann Leonardo da Vinci trotz einiger Umweltstörungen trotzdem eine stabile Leistung erbringen?

Es ist zu erkennen, dass Leonardo da Vinci nicht aufhörte und den Knüpfvorgang fortsetzte, nachdem andere Instrumente plötzlich einbrachen und die chirurgischen Nähte absichtlich abzogen.

Im folgenden Video gelingt es dem da Vinci nicht, die chirurgische Nadel bei der ersten Operation aufzunehmen. Er erkennt diese Tatsache schnell und nimmt die Nadel durch automatische Anpassung erfolgreich auf.

Wiederholbarkeitstest

Klinische Chirurgie ist kein Kinderspiel. Der klinische Roboter muss reproduzierbar sein und „narrensicher“ sein.

Das Forschungsteam veröffentlichte ein Video von Da Vincis Wiederholbarkeitstest und beobachtete seine vielfältigen Vorgänge aus verschiedenen Blickwinkeln, und es war im Grunde tadellos.

Technischer Weg

Wie in der Abbildung unten dargestellt, besteht das dVRK-System des da Vinci-Roboters aus einem endoskopischen Kameramanipulator (ECM) und zwei patientenseitigen Manipulatoren (PSM1, PSM2), die sich die gleiche Roboterbasis teilen.

Jeder Arm ist eine sequentielle Kombination aus passiv eingestellten Gelenken, gefolgt von motorisierten aktiven Gelenken.

Allerdings führt die Verwendung von Potentiometern in allen Gelenken im Allgemeinen zu einer ungenauen Vorwärtskinematik des Arms, sogar bis zu 5 cm.

Leider sind die von dVRK bereitgestellten Vorwärtskinematikdaten nicht stabil. Dies liegt daran, dass beim Einstellen des Gelenks (blau) nur ein Potentiometer zur Gelenkmessung verwendet wird, was nicht zuverlässig ist.Das aktive Gelenk (rosa) verwendet sowohl ein Potentiometer als auch einen Motor-Encoder, um die Genauigkeit zu verbessern

Um es Da Vinci zu ermöglichen, chirurgische Operationsaufgaben durch Nachahmungslernen zu erledigen, schlug das Team angesichts der ungenauen Vorwärtskinematik des Roboters die drei oben genannten Aktionsdarstellungsmethoden vor, darunter die gemischte Relativmethode, die die Genauigkeit der Translationsbewegungen weiter verbesserte.

Implementierungsdetails

Um praktikable Richtlinien zu trainieren, wird der Einsatz von Action Chunking mit Transformer (ACT) und Diffusionsstrategien untersucht.

Sie trainierten die Richtlinie anhand von Endoskopie- und Handgelenkskamerabildern als Eingabe, die auf eine Bildgröße von 224 x 224 x 3 verkleinert wurden.

Die ursprüngliche Eingabegröße des chirurgischen endoskopischen Bildes beträgt 1024 x 1280 x 3 und das Handgelenksbild beträgt 480 x 640 x 3.

Kinematische Daten werden nicht als Eingabe bereitgestellt, wie es bei anderen Nachahmungslernmethoden üblich ist, da kinematische Daten aufgrund von Designeinschränkungen von dVRK oft inkonsistent sind.

Zu den Richtlinienergebnissen gehören die Position des Endeffektors (Delta), die Ausrichtung (Delta) und der Unterkieferwinkel beider Arme.

Versuchsablauf

In diesem Experiment war es das Ziel der Forscher, Antworten auf diese Fragen zu finden:

1. Ist Imitationslernen für komplexe chirurgische Aufgaben ausreichend? 2. Ist die relative Bewegung von dVRK stabiler als seine absolute Vorwärtskinematik? 3. Ist die Verwendung einer Handgelenkkamera entscheidend für die Verbesserung der Erfolgsraten? 4. Kann das Modell in neuen, noch nie dagewesenen Szenarien effektiv verallgemeinert werden?

Als erstes muss beurteilt werden, ob die relative Bewegung da Vincis gleichmäßiger ist als seine absolute Vorwärtskinematik.

Die Bewertungsmethode besteht darin, Referenztrajektorien unter Verwendung absoluter und relativer Bewegungsformeln unter verschiedenen Roboterkonfigurationen wiederholt aufzuzeichnen.

Konkret muss der Roboter den Arm und das Endoskop in ungefähr ähnlichen Positionen platzieren und dabei die gleichen Löcher in einer Kuppel verwenden, die den menschlichen Bauch simuliert.

Diese Aufgabe ist nicht trivial, da das Loch viel größer ist als die Abmessungen des Endoskops und des Werkzeugschafts und das Werkzeug manuell durch Bewegen des Montagegelenks in das Loch eingesetzt werden muss.

Insgesamt zeigen die Experimente, dass die Relativbewegung bei Vorliegen von Messfehlern konsistenter ist. Daher ist die Modellierung strategischer Aktionen als relative Bewegung die bessere Wahl.

In dieser Konfiguration wurden insgesamt 224 Gewebeanhebungsexperimente, 250 Nadelaufnahme- und -übergabeexperimente und 500 Knotenexperimente gesammelt

Abbildung 5 zeigt Referenztrajektorien, die wiederholt unter verschiedenen Roboterkonfigurationen aufgezeichnet wurden, um die Wiederholbarkeit aller Aktionsdarstellungen zu testen.

Das linke Bild zeigt eine perfekte Rekonstruktion der Referenztrajektorie für alle Bewegungsdarstellungen, da sich die Robotergelenke seit der Erfassung der Referenztrajektorie nicht bewegt haben.

Wenn sich der Roboter nach links oder rechts bewegt (mittleres und rechtes Bild), kann die kamerazentrierte Aktionsdarstellung die Referenztrajektorie nicht verfolgen, während die relative Aktionsdarstellung die Referenztrajektorie gut verfolgen kann.

Trajektorienverfolgung unter verschiedenen Roboterkonfigurationen

Darüber hinaus bewertete das Team auch die Aufgabenerfolgsrate von Modellen, die mit verschiedenen Aktionsdarstellungen trainiert wurden.

Die Ergebnisse zeigen, dass Strategien, die mit relativen Aktionsdarstellungen (tool-zentrierte Aktionsdarstellungen und hybride relative Aktionsdarstellungen) trainiert wurden, gut funktionieren, während Strategien, die mit absoluter Vorwärtskinematik trainiert wurden, scheitern.

Im Bild unten ist die obere Reihe die Aufgabe zum Heben des Gewebes. Der Roboter muss die Ecke des Gummipolsters (Gewebe) greifen und es nach oben heben.

Während des Trainings bleibt die Ecke des Gewebes innerhalb des roten Kästchens und zeigt die Konfiguration der Ecke beim Test an.

Die mittlere Reihe dient dem Sammeln und Überreichen der Nadeln.

Während des Trainings wurden Nadeln nach dem Zufallsprinzip in rote Kästchen gelegt. Beim Testen wurde der mittlere Höcker der Nadel wie gezeigt in 9 Positionen platziert, um eine konsistente Einstellung während der Bewertung zu gewährleisten.

In der unteren Reihe ist der Roboter dabei, einen Knoten zu knüpfen, indem er mit dem Seil auf der linken Seite eine Schlaufe bildet, das Ende des Seils durch die Schlaufe greift und dann die Klammern voneinander wegzieht.

Während des Trainings wurde die Seilposition der Matte zufällig innerhalb des roten Kästchens platziert, während beim Testen das Seil in der Mitte des roten Kästchens platziert wurde.

Das folgende Video zeigt die Ergebnisse einer Trainingsstrategie mit absoluter Vorwärtskinematik (kamerazentrierte Bewegung) des Arms.

Diese Strategien konnten die Aufgabe aufgrund von Fehlern in der Vorwärtskinematik von da Vincis Armen, die sich zwischen Training und Schlussfolgerung erheblich ändern, nicht erfüllen.

Darüber hinaus beobachteten die Forscher, dass die Handgelenkkamera zu erheblichen Leistungsverbesserungen beim Erlernen chirurgischer Aufgaben führte.

Es ist offensichtlich, dass autonom lernende Operationsroboter die Fähigkeiten von Chirurgen in Zukunft weiter erweitern werden.

Verweise:

https://surgical-robot-transformer.github.io/