Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Новый отчет мудрости

Редактор: Редакционный отдел

[Введение в новую мудрость] Автор Stanford’s Shrimp Fried Robot выпустил новую работу! Благодаря имитационному обучению робот Да Винчи научился самостоятельно выполнять «хирургические операции» — поднимать ткани, брать иглы, накладывать швы и завязывать узлы. Самое главное, что все вышеперечисленные действия он выполняет самостоятельно.

Автор Stanford Shrimp Robot выпустил новую работу.

На этот раз робот не готовит нам жареный рис, а делает нам операцию!

Недавно исследователи из Университета Джонса Хопкинса и Стэнфордского университета провели новое исследование.

Может ли знаменитый медицинский робот Да Винчи обучаться хирургическим операциям посредством имитации обучения?

Поэкспериментировав, им это удалось!

Да Винчи может самостоятельно выполнять три основные хирургические задачи: манипулирование тканями, обращение с иглами и завязывание узлов.

Первый — это техника наложения швов и завязывания узлов, требующая от студентов-медиков отработки навыков пальцевой работы. Я видел «летящую игольную нить» Леонардо да Винчи, и он умел очень умело завязывать узел:

Следующий шаг — взять и передать иглу. Да Винчи также может работать с ней точно и без всякой неряшливости.

Третья важная задача — поднять организацию. Видно, что да Винчи выбрал правильный фокус и легко поднял организацию.

Самое главное, что все вышеперечисленные действия были совершены Леонардо да Винчи самостоятельно!

Конечно же, этот уровень деликатной операции имеет знакомый запах, как бы вы на него ни посмотрели.

Адрес статьи: https://arxiv.org/abs/2407.12998.

Адрес блога: https://surgical-robot-transformer.github.io/

Помните, что по сравнению с настольными операциями в домашних условиях хирургические задачи требуют точных манипуляций с деформируемыми объектами и сталкиваются с трудными проблемами восприятия из-за непостоянного освещения и окклюзии.

Кроме того, хирургические роботы часто могут иметь неточную проприоцепцию и гистерезис.

Как они преодолели эти проблемы?

Большое хранилище клинических данных, роботы могут учиться

Масштабное имитационное обучение показывает большие перспективы в системах общего назначения для операционных задач, таких как роботы, выполняющие за нас работу по дому.

Но на этот раз исследователи сосредоточились на области хирургии.

Область хирургии – это неиспользованная область с огромным потенциалом, особенно с помощью хирургического робота да Винчи.

По состоянию на 2021 год в 67 странах мира использовалось 6500 систем да Винчи и было проведено более 10 миллионов операций.

Более того, процедуры этих операций были полностью записаны, что дало нам большое хранилище демонстрационных данных.

Можно ли использовать такие крупномасштабные данные для создания универсальной системы автономной хирургии?

Однако когда исследователи начали исследования, они обнаружили, что роботу да Винчи сложно позволить выполнять хирургические операции посредством имитационного обучения.

Уникальная природа системы DaVinci создает уникальные проблемы, которые препятствуют внедрению имитационного обучения.

Вверху справа — реальная медицинская среда, а внизу справа — экспериментальная установка исследователя.

Более того, поскольку совместные измерения неточны, их прямая кинематика будет противоречивой, и простое обучение политике с использованием этих приблизительных кинематических данных часто приводит к сбою задачи.

Робот не может выполнить даже простую задачу визуального обслуживания. Политики, обученные выводить абсолютные позы конечного исполнительного органа (обычный подход к обучению политикам роботов), имеют показатель успеха, близкий к 0, для всех задач.

Как преодолеть это ограничение?

Команда обнаружила, что относительное движение системы да Винчи более последовательное, чем ее кинематика абсолютного движения вперед.

Поэтому придумали способ: ввести формулу относительного действия и использовать ее примерные кинематические данные для тренировки и развертывания стратегии.

Они рассмотрели три варианта: операции, ориентированные на камеру, инструменты и гибридные операции.

Представление действия, ориентированного на камеру, — это базовый подход, который моделирует действие как абсолютное положение конечного эффектора относительно кончика эндоскопа.Две другие представляют собой относительные формулы, определяющие действия относительно текущего кадра инструмента (т. е. концевого эффектора) или кадра наконечника эндоскопа.

Затем политика обучается с использованием изображений в качестве входных данных и описанных выше представлений действий.

В этом отношении их подход отличается от предыдущей работы, в которой в качестве входных данных использовались кинематические данные. Однако в этой работе кинематические данные Да Винчи могут быть ненадежными.

Их модель основана на ACT, архитектуре на основе трансформатора.

Команда предложила дизайн стратегии, который использует только графику в качестве входных данных и выводит траектории относительного положения.

Если этот подход окажется успешным, большие хранилища клинических данных, содержащие приблизительную кинематику, можно будет использовать непосредственно для обучения роботов без дальнейшей коррекции.

Это, несомненно, имеет большое значение для клинических хирургических операций роботов.

Разумеется, после введения формулы относительного действия команда использовала приблизительные кинематические данные, чтобы успешно продемонстрировать имитационное обучение на DaVinci. Это не только не потребовало дальнейшей кинематической коррекции, но и эффект был намного лучше, чем у базового метода.

Эксперименты показывают, что имитационное обучение может не только эффективно изучать сложные хирургические задачи, но и распространяться на новые сценарии, например, на невидимые реальные ткани человека.

Кроме того, наручная камера также очень важна для обучения хирургическим операциям.

Теперь, в дополнение к ранее продемонстрированным автономным задачам по манипулированию тканями, работе с иглами и завязыванию узлов, робот да Винчи также может выполнять различные операции.

Обобщение с нулевым выстрелом

Модель Стэнфордской команды показала способность адаптироваться к новым сценариям, таким как присутствие неизвестных тканей животных.

Это видео, как Леонардо да Винчи сшивает и связывает свинину -

Если бы это была курица, да Винчи также мог бы точно уловить хирургическую иглу, помещенную на поверхность мяса.

Это указывает на перспективу расширения будущих клинических исследований.

поведение повторной попытки

Итак, если произойдут какие-то экологические нарушения, сможет ли Леонардо да Винчи по-прежнему стабильно работать?

Видно, что после того, как другие инструменты внезапно сломались и намеренно оторвали хирургические швы, Леонардо да Винчи не остановился и продолжил завязывание узлов.

На видео ниже да Винчи не может подобрать хирургическую иглу во время первой операции. Он быстро осознает этот факт и успешно подхватывает иглу посредством автоматической регулировки.

тест на повторяемость

Клиническая хирургия – это не детская игра. Клинический робот должен быть воспроизводимым, а его основная способность – «защищенность от дурака».

Исследовательская группа опубликовала видео теста на повторяемость Да Винчи и наблюдала за его многочисленными операциями с разных углов обзора, и оно было в основном безупречным.

Технический путь

Как показано на рисунке ниже, система dVRK робота да Винчи состоит из манипулятора эндоскопической камеры (ECM) и двух манипуляторов на стороне пациента (PSM1, PSM2), которые используют одну и ту же базу робота.

Каждая рука представляет собой последовательную комбинацию пассивно установленных суставов, за которыми следуют моторизованные активные суставы.

Однако в целом использование потенциометров во всех суставах приведет к неточной кинематике движения руки вперед даже до 5 см.

К сожалению, данные прямой кинематики, предоставленные dVRK, нестабильны. Это связано с тем, что для настройки соединения (синего цвета) используется только потенциометр для измерения соединения, что ненадежно.Активный шарнир (розовый) использует как потенциометр, так и энкодер двигателя для повышения точности.

Чтобы позволить Да Винчи выполнять задачи хирургической операции посредством имитационного обучения, ввиду неточной прямой кинематики робота, команда предложила три метода представления действий, упомянутых выше, среди которых смешанный относительный метод еще больше улучшил точность поступательных движений.

Детали реализации

Для обучения осуществимой политике изучается использование стратегий разделения действий с помощью преобразователя (ACT) и стратегий распространения.

Они обучили политику, используя в качестве входных данных изображения с эндоскопической камеры и наручной камеры, которые были уменьшены до размера изображения 224x224x3.

Исходный входной размер хирургического эндоскопического изображения — 1024x1280x3, а изображения запястья — 480x640x3.

Кинематические данные не предоставляются в качестве входных данных, как это обычно бывает в других методах имитационного обучения, поскольку кинематические данные часто противоречивы из-за конструктивных ограничений dVRK.

Выходные данные политики включают положение конечного эффектора (дельта), ориентацию (дельта) и угол нижней челюсти обеих рук.

процедура эксперимента

В этом эксперименте целью исследователей было узнать ответы на эти вопросы:

1. Достаточно ли имитационного обучения для решения сложных хирургических задач? 2. Является ли относительное движение дВРК более устойчивым, чем его кинематика абсолютного прямого хода? 3. Имеет ли использование наручной камеры решающее значение для повышения показателей успеха? 4. Может ли модель эффективно обобщаться в новых, невиданных сценариях?

Первое, что нужно оценить, является ли относительное движение да Винчи более последовательным, чем его абсолютная кинематика вперед.

Метод оценки заключается в многократной записи эталонных траекторий с использованием формул абсолютного и относительного движения при различных конфигурациях робота.

В частности, роботу необходимо разместить руку и эндоскоп примерно в одинаковых положениях, используя одни и те же отверстия в куполе, имитирующем человеческий живот.

Эта задача нетривиальна, так как отверстие значительно больше размеров эндоскопа и стержня инструмента, и инструмент необходимо вводить в отверстие вручную, перемещая крепежный шарнир.

В целом эксперименты показывают, что относительное движение более последовательно при наличии ошибок измерения. Поэтому моделирование стратегических действий как относительного движения — лучший выбор.

В этой конфигурации было собрано в общей сложности 224 эксперимента по подъему тканей, 250 экспериментов по захвату и передаче иглы и 500 экспериментов по завязыванию узлов.

На рисунке 5 показаны эталонные траектории, неоднократно записанные при различных конфигурациях робота для проверки повторяемости всех представлений действий.

На левом изображении показана идеальная реконструкция эталонной траектории для всех представлений движения, поскольку суставы робота не двигались с момента получения эталонной траектории.

Когда робот движется влево или вправо (среднее и правое изображения), представление действия, ориентированное на камеру, не может отслеживать эталонную траекторию, в то время как представление относительного действия может хорошо отслеживать эталонную траекторию.

Отслеживание траектории при различных конфигурациях робота

В дополнение к этому команда также оценила вероятность успешного выполнения задач моделей, обученных с использованием различных представлений действий.

Результаты показывают, что стратегии, обученные с использованием относительных представлений действий (представления действий, ориентированных на инструменты и гибридные представления относительных действий), работают хорошо, в то время как стратегии, обученные с использованием абсолютной прямой кинематики, терпят неудачу.

На рисунке ниже верхний ряд — задача по подъему ткани. Роботу необходимо захватить угол резиновой подушечки (ткани) и поднять ее вверх.

Во время тренировки угол ткани остается в красной рамке, показывая конфигурацию угла при тестировании.

Средний ряд – сбор и сдача иголок.

Во время обучения иглы случайным образом помещались в красные коробки. При тестировании центральный выступ иглы был помещен в 9 положений, как показано, для обеспечения единообразия настроек во время оценки.

В нижнем ряду робот завязывает узел, используя веревку слева, чтобы сформировать петлю, захватывая конец веревки через петлю, а затем оттягивая зажимы друг от друга.

Во время тренировки положение веревки с мата случайным образом помещалось в красную рамку, тогда как во время тестирования веревка помещалась в центр красной рамки.

На видео ниже показаны результаты стратегии тренировки с использованием абсолютной кинематики вперед (движение руки по центру камеры).

Эти стратегии не смогли выполнить задачу из-за ошибок в прямой кинематике рук да Винчи, которая значительно меняется между тренировкой и выводом.

Кроме того, исследователи заметили, что камера на запястье привела к значительному улучшению производительности при обучении хирургическим задачам.

Очевидно, что хирургические роботы, способные обучаться автономно, в будущем еще больше расширят возможности хирургов.

Использованная литература:

https://surgical-robot-transformer.github.io/