Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Редакция «Машинное сердце»

Робот, который может выполнять хирургические операции, может действовать стильно.

Была ли роботизированная хирургия развита до такой степени? Она выглядит очень искусно и изысканно, а ее «руки» очень устойчивы.

Я видел, как две «руки» робота гибко перемещались по свинине, чтобы сшить и завязать узлы:

Сила в самый раз и «рана» идеально зашита:

Робот также может точно подбирать швейные иглы, расположенные на различных предметах, не защемляя при этом другие предметы:

Аккуратно поднимите ткань для последующего наблюдения и манипуляций.

Вышеупомянутое исследование проведено с помощью робота да Винчи, совместно разработанного Университетом Хопкинса и Стэнфордским университетом.

Адрес статьи: https://surgical-robot-transformer.github.io/resources/surgical_robot_transformer.pdf.

Домашняя страница проекта: https://surgical-robot-transformer.github.io/

В состав команды входят Джи Ун (Брайан) Ким, постдок из Университета Джонса Хопкинса, который учился у Акселя Кригера и Челси Финн, которая также участвовала в исследовании, и Тони З. Чжао, аспирант Стэнфордского университета, работавший над Mobile ALOHA; ALOHA 2 исследование домашних роботов, его руководитель — Челси Финн; аспирант первого курса электротехники и компьютерной инженерии Университета Джонса Хопкинса; Антон Деге — младший инженер-исследователь в Университете Джонса Хопкинса; Университет Хопкинса.

В течение долгого времени исследования роботов в основном были сосредоточены на выполнении повседневных домашних дел и не были полностью изучены в области хирургии, особенно робота да Винчи от компании, производящей хирургические роботы Intuitive Surgical. Эти роботы, уже развернутые по всему миру, имеют огромный потенциал для расширения: по состоянию на 2021 год с использованием 6500 систем да Винчи было выполнено более 10 миллионов операций в 67 странах, и 55 000 хирургов прошли обучение работе с этими системами.

В этом исследовании выясняется, можно ли научиться хирургическим операциям на роботе да Винчи посредством имитационного обучения. Для достижения этой цели они вводят формулировку относительных действий, которая обеспечивает успешное обучение и внедрение политики с использованием приблизительных кинематических данных. Этот подход позволяет напрямую использовать большие объемы клинических данных для обучения роботов без дальнейшей модификации. Получившийся в результате робот превосходно справляется с тремя основными хирургическими задачами, включая манипулирование тканями, работу с иглами и завязывание узлов.

Многие пользователи сети отдали предпочтение этому хирургическому роботу, назвав его «невероятным».

Обзор метода

На рисунке 3 ниже показана система dVRK, включающая робота и удаленную консоль для взаимодействия с врачом. DVRK имеет эндоскопический манипулятор камеры (ECM) и два манипулятора на стороне пациента (PSM1, PSM2), которые имеют общую роботизированную базу. Каждая роботизированная рука собирается в последовательность пассивных шарниров (SUJ), за которыми следуют моторизованные активные суставы.

Пассивные соединения используют только потенциометры для измерения соединений и поэтому очень неточны. Активный шарнир использует как потенциометр, так и энкодер двигателя для повышения точности. Однако, вообще говоря, использование потенциометров во всех суставах приведет к тому, что движение роботизированной руки вперед будет неточным, а погрешность может достигать даже 5 см.

Цель исследователей — освоить хирургические задачи посредством имитационного обучения. Учитывая неточное движение робота вперед, крайне важно выбрать подходящее представление движения.Поэтому они изучили три представления действия, а именноОриентированное на камеру, ориентированное на инструменты и гибридное относительное, как показано на рисунке 4 ниже.

Среди них подходы, ориентированные на камеру, служат эталоном, подчеркивая ограничения моделирования действий как абсолютных поз конечных исполнителей. Подходы, ориентированные на инструменты, совершенствуются и повышают вероятность успеха за счет моделирования действий как относительных движений. Гибридный относительный метод дополнительно улучшен по сравнению с методом, ориентированным на инструмент, за счет моделирования поступательного движения фиксированной системы отсчета и повышения точности поступательного движения.

Давайте сначала посмотрим на действия, ориентированные на камеру. Мы моделируем движение по центру камеры как абсолютное положение рабочего органа относительно верхней рамы эндоскопа. Эта установка аналогична тому, как реализуются приложения визуального сервопривода на основе положения (PBVS), что делает ее естественным выбором для dVRK.

В частности, учитывая значение наблюдения o_t в момент времени t, цель состоит в том, чтобы изучить политику π и спрогнозировать последовательность действий A_t, C = (a_t,..., a_t+C), где C представляет диапазон прогнозирования действий.Политика определяется следующим образом

Далее следует действие, ориентированное на инструменты. Мы моделируем действия, ориентированные на инструмент, как относительное движение относительно текущего кадра конечного эффектора (т. е. кадра движущегося тела). Таким образом, действия, ориентированные на инструменты, определяются следующим образом:

Наконец, происходит смешение относительных действий. Подобно движению, ориентированному на инструмент, исследователи смоделировали гибридное относительное движение как относительное движение относительно двух разных систем отсчета. Постепенное перемещение определяется относительно верхней рамы эндоскопа, а постепенное вращение определяется относительно текущей рамки концевого эффектора.Смешанные относительные действия определяются следующим образом:

Результаты эксперимента

Во время сбора данных робот был настроен, как показано на рисунке 5 ниже. В этой конфигурации исследователи собрали 224 испытания подтяжки тканей, 250 испытаний подбора и передачи игл и 500 испытаний завязывания узлов. Все эксперименты собирались одним пользователем в течение нескольких дней.

Оцените относительное движение на соответствие абсолютному движению вперед. Исследователи стремились понять, демонстрирует ли относительное движение dVRK большую последовательность, чем абсолютное движение вперед. Чтобы проверить эту гипотезу, они удаленно манипулировали эталонными траекториями, такими как символ бесконечности, показанный на рисунке 5.

Затем концевой эффектор помещается в ту же начальную позу, и траектории воспроизводятся с использованием разных представлений движения в разных конфигурациях робота. Эти различные конфигурации предполагают перемещение рабочего пространства робота влево и вправо. Разумеется, перемещение этих рабочих пространств вызовет перемещение регулировочных соединений робота, а поскольку для измерения соединений используются только потенциометры, эти соединения могут легко привести к большим ошибкам измерения.

В таблице 1 ниже показаны численные результаты среднеквадратичной ошибки (RMSE). В эталонной конфигурации, поскольку установленные суставы не перемещаются, все представления движения точно восстанавливают эталонные траектории.

Более того, с точки зрения представления относительных действий, эталонные траектории инструментально-ориентированных и гибридных относительных методов более последовательны при повторении, а числовые ошибки существенно не изменяются. В заключение следует отметить, что при наличии противоречивых совместных ошибок измерения относительное движение дВРК ведет себя более последовательно, чем его абсолютное движение вперед.

Затем исследователи оценили эффективность стратегии, используя различные представления действий, такие как поднятие ткани, взятие и передача иголок и завязывание узлов. Результаты показаны в Таблице 2 ниже. Представление действий, ориентированных на камеру, плохо справляется со всеми тремя задачами.

Представление действий, ориентированных на инструменты, показало лучшую производительность во всех трех задачах. Однако в процессе захвата и переноса игл перенос часто не удается при выполнении операций большого вращения. Особенно после взятия иглы левый держатель необходимо повернуть примерно на 90 градусов, чтобы перенести иглу на другую роботизированную руку, как показано на рисунке 6 ниже. Во время этой фазы движения ориентация захвата кажется правильной, но поступательное движение не кажется правильным, что может быть причиной неисправности.