소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

머신하트 편집부

수술을 수행할 수 있는 로봇은 스타일리시하게 작동할 수 있습니다.

로봇수술이 이정도까지 발전했나? 굉장히 숙련되고 정교해 보이고, 그 '손'도 매우 안정적이다.

나는 로봇의 두 "손"이 돼지고기 위에서 유연하게 움직여서 매듭을 짓고 묶는 것을 보았습니다.

강도가 적당하고 "상처"가 완벽하게 봉합되었습니다.

로봇은 또한 다른 물건을 집지 않고도 다양한 물건에 놓인 바느질 바늘을 정확하게 집어들 수 있습니다.

후속 관찰 및 조작을 위해 조직을 정확하게 들어 올립니다.

위에서 언급한 연구는 홉킨스 대학교와 스탠포드 대학교가 공동 개발한 다빈치 로봇에서 나온 것입니다.

논문 주소: https://surgical-robot-transformer.github.io/resources/surgical_robot_transformer.pdf

프로젝트 홈페이지: https://surgical-robot-transformer.github.io/

팀원으로는 Axel Krieger와 Chelsea Finn 밑에서 공부한 Johns Hopkins University의 Postdoc인 김지웅(Brian)과 Mobile ALOHA에 참여한 Stanford University의 박사과정 학생인 Tony Z. Zhao가 있습니다. 가정용 로봇에 대한 ALOHA 2 연구, 그의 지도교수는 Chelsea Finn입니다. Samuel Schmidgall은 Johns Hopkins University의 전기 및 컴퓨터 공학 박사 과정 학생입니다. Anton Deguet는 Johns Hopkins University의 조교수입니다. 홉킨스 대학.

오랫동안 로봇에 대한 연구는 주로 일상적인 가사 활동을 완료하는 데 초점을 맞춰왔으며 수술 분야에서는 완전히 탐구되지 않았습니다. 특히 수술 로봇 회사인 Intuitive Surgical의 다빈치 로봇은 더욱 그렇습니다. 이미 전 세계에 배포된 이 로봇은 확장 가능성이 매우 높습니다. 2021년 현재 67개국에서 6,500대의 da Vinci 시스템을 사용하여 1,000만 건 이상의 수술이 수행되었으며 55,000명의 외과의사가 이 시스템에 대한 교육을 받았습니다.

본 연구에서는 모방 학습을 통해 다빈치 로봇에서 수술 작업을 학습할 수 있는지 탐구합니다. 이 목표를 달성하기 위해 그들은 대략적인 운동학 데이터를 사용하여 성공적인 정책 훈련 및 배포를 가능하게 하는 상대 동작 공식을 도입합니다. 이 접근 방식을 사용하면 대량의 임상 데이터를 추가 수정 없이 로봇 학습에 직접 사용할 수 있습니다. 그 결과 로봇은 조직 조작, 바늘 취급, 매듭 묶기 등 세 가지 기본 수술 작업에 탁월합니다.

이 수술용 로봇은 많은 네티즌들로부터 '믿을 수 없다'는 호평을 받았다.

방법 개요

아래 그림 3은 의사 상호작용을 위한 로봇과 원격 콘솔을 포함한 dVRK 시스템을 보여줍니다. dVRK에는 로봇 베이스를 공유하는 내시경 카메라 조작기(ECM)와 환자측 조작기 2개(PSM1, PSM2)가 있습니다. 각 로봇 팔은 일련의 수동 세트 조인트(SUJ)로 조립되고 그 뒤에 모터 구동 활성 조인트가 이어집니다.

패시브 조인트는 조인트 측정에만 전위차계를 사용하므로 매우 부정확합니다. 활성 조인트는 정확도를 높이기 위해 전위차계와 모터 인코더를 모두 사용합니다. 그러나 일반적으로 모든 관절에 전위차계를 사용하면 로봇 팔의 전진 움직임이 부정확해지고 오류가 5cm에 이를 수도 있습니다.

연구진의 목표는 모방 학습을 통해 수술 과제를 배우는 것입니다. 로봇의 부정확한 전진 동작을 고려하여 적절한 모션 표현을 선택하는 것이 중요합니다.따라서 그들은 세 가지 행동 표현을 연구했습니다.카메라 중심, 도구 중심, Hybrid Relative, 아래 그림 4와 같습니다.

그중 카메라 중심 접근 방식은 엔드 이펙터의 절대 포즈로 모델링 작업의 한계를 강조하는 벤치마크 역할을 합니다. 도구 중심 접근 방식이 개선되고 동작을 상대 동작으로 모델링하여 성공률이 높아집니다. 하이브리드 상대법은 고정된 기준 좌표계의 병진 운동을 모델링하여 도구 중심 방법에 비해 더욱 개선되었으며 병진 운동의 정확도를 향상시킵니다.

먼저 카메라 중심 액션을 살펴보겠습니다. 우리는 내시경 상단 프레임을 기준으로 엔드 이펙터의 절대 위치로 카메라 중심 모션을 모델링합니다. 이 설정은 위치 기반 비주얼 서보 애플리케이션(PBVS)이 구현되는 방식과 유사하므로 dVRK에 대한 자연스러운 선택입니다.

구체적으로, 시간 t에서 관찰 값 o_t가 주어지면 목표는 정책 π를 학습하고 동작 시퀀스 A_t, C = (a_t, ..., a_t+C)를 예측하는 것입니다. 여기서 C는 동작 예측 범위를 나타냅니다.정책은 다음과 같이 정의됩니다.

다음은 도구 중심 작업입니다. 우리는 도구 중심 동작을 현재 엔드 이펙터 프레임(즉, 움직이는 본체 프레임)에 대한 상대 동작으로 모델링합니다. 따라서 도구 중심 작업은 다음과 같이 정의됩니다.

마지막으로, 상대적인 행동의 혼합이 있습니다. 도구 중심 모션과 유사하게 연구원들은 하이브리드 상대 모션을 두 개의 서로 다른 참조 프레임에 대한 상대 모션으로 모델링했습니다. 증분 변환은 내시경 상단 프레임을 기준으로 정의되고 증분 회전은 현재 엔드 이펙터 프레임을 기준으로 정의됩니다.혼합 상대 동작은 다음과 같이 정의됩니다.

실험 결과

데이터 수집 중에 로봇은 아래 그림 5와 같이 설정되었습니다. 이 구성에서 연구원들은 224회의 조직 리프팅 시도, 250회의 바늘 따기 및 핸드오버 시도, 500회의 매듭 묶기 시도를 수집했습니다. 모든 실험은 단일 사용자에 의해 며칠에 걸쳐 수집되었습니다.

절대 전진 ​​모션의 일관성을 위해 상대 모션을 평가합니다. 연구자들은 dVRK의 상대 운동이 절대 전진 ​​운동보다 더 큰 일관성을 보이는지 이해하려고 노력했습니다. 이 가설을 테스트하기 위해 그들은 그림 5에 표시된 무한대 기호와 같은 참조 궤적을 원격으로 조작했습니다.

그런 다음 엔드 이펙터는 동일한 초기 포즈에 배치되고 다양한 로봇 구성에서 다양한 모션 표현을 사용하여 궤적이 재현됩니다. 이러한 다양한 구성에는 로봇의 작업 공간을 왼쪽과 오른쪽으로 이동하는 것이 포함됩니다. 물론 이러한 작업 공간의 움직임은 로봇의 설정 관절의 움직임을 유발하며 관절 측정에는 전위차계만 사용되므로 이러한 관절은 큰 측정 오류로 쉽게 이어질 수 있습니다.

아래 표 1은 RMSE(제곱평균제곱근 오차)에 대한 수치 결과를 보여줍니다. 참조 구성에서는 설정된 관절이 움직이지 않으므로 모든 모션 표현이 참조 궤적을 정확하게 재구성합니다.

또한, 상대 동작 표현 측면에서 도구 중심 및 하이브리드 상대 방법의 참조 궤적은 반복될 때 더 일관되며 수치 오류는 크게 변하지 않습니다. 결론적으로, 일관되지 않은 관절 측정 오류가 있는 경우 dVRK의 상대 모션은 절대 전진 ​​모션보다 더 일관되게 동작합니다.

다음으로 연구원들은 조직 들어올리기, 바늘 집어 넘겨주기, 매듭 묶기 등 다양한 행동 표현을 사용하여 전략 성과를 평가했습니다. 결과는 아래 표 2에 나와 있습니다. 카메라 중심 동작 표현은 세 가지 작업 모두에서 제대로 수행되지 않습니다.

도구 중심 동작 표현은 세 가지 작업 모두에서 더 나은 성능을 보였습니다. 그러나 바늘을 집어 옮기는 과정에서 큰 회전작업을 하게 되면 전달이 실패하는 경우가 많다. 특히 바늘을 집은 후 아래 그림 6과 같이 바늘을 다른 로봇 팔로 전달하려면 왼쪽 홀더를 약 90도 회전해야 합니다. 이 이동 단계에서는 그리퍼의 방향이 올바른 것처럼 보이지만 병진 이동이 올바르지 않은 것으로 나타나 오류의 원인이 될 수 있습니다.