berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Kebijaksanaan Baru

Editor: Departemen Editorial

[Pengantar Kebijaksanaan Baru] Penulis Robot Goreng Udang Stanford telah merilis karya baru! Melalui pembelajaran imitasi, robot Da Vinci belajar melakukan "operasi" sendiri - mengangkat jaringan, mengambil jarum, dan menjahit serta mengikat simpul. Yang paling penting adalah ia menyelesaikan semua tindakan di atas secara mandiri.

Penulis Robot Udang Stanford telah merilis karya baru.

Kali ini, robot tersebut tidak membuatkan kami nasi goreng, namun melakukan operasi pada kami!

Baru-baru ini, peneliti dari Johns Hopkins dan Universitas Stanford melakukan eksplorasi baru——

Bisakah robot medis terkenal Da Vinci mempelajari tugas bedah melalui pembelajaran imitasi?

Setelah bereksperimen, mereka berhasil!

Da Vinci dapat menyelesaikan tiga tugas bedah dasar yaitu manipulasi jaringan, penanganan jarum, dan pembuatan simpul secara mandiri.

Yang pertama adalah teknik menjahit dan membuat simpul yang mengharuskan mahasiswa kedokteran melatih keterampilan fingeringnya. Saya melihat "benang jarum terbang" Leonardo da Vinci dan dia mampu mengikat simpul dengan sangat terampil:

Langkah selanjutnya adalah mengambil dan menyerahkan jarumnya. Da Vinci juga dapat mengoperasikannya secara akurat dalam satu waktu tanpa ada kecerobohan.

Tugas besar ketiga adalah mengangkat organisasi. Terlihat bahwa Da Vinci memilih fokus yang tepat dan dengan mudah mengangkat organisasi.

Yang terpenting semua tindakan di atas diselesaikan oleh Leonardo da Vinci secara mandiri!

Benar saja, tingkat pengoperasian yang rumit ini memiliki bau yang familiar tidak peduli bagaimana Anda melihatnya.

Alamat makalah: https://arxiv.org/abs/2407.12998

Alamat blog: https://surgical-robot-transformer.github.io/

Ingat, dibandingkan dengan operasi desktop di lingkungan rumah, tugas bedah memerlukan manipulasi yang tepat terhadap objek yang dapat berubah bentuk dan menghadapi masalah persepsi sulit dengan pencahayaan dan oklusi yang tidak konsisten.

Selain itu, robot bedah seringkali memiliki propriosepsi dan histeresis yang tidak akurat.

Bagaimana mereka mengatasi permasalahan tersebut?

Penyimpanan data klinis yang besar, robot dapat belajar

Pembelajaran imitasi skala besar menunjukkan harapan besar dalam sistem tujuan umum untuk menjalankan tugas, seperti membuat robot melakukan pekerjaan rumah untuk kita.

Namun saat ini peneliti fokus pada bidang bedah.

Bidang bedah merupakan bidang yang belum tergali dan memiliki potensi yang sangat besar, terutama dengan bantuan robot bedah da Vinci.

Pada tahun 2021, 6.500 sistem da Vinci telah digunakan di 67 negara di seluruh dunia, dan lebih dari 10 juta operasi telah dilakukan.

Selain itu, prosedur operasi ini dicatat sepenuhnya, sehingga memberi kami gudang data demonstrasi yang besar.

Bisakah data berskala besar digunakan untuk membangun sistem generalis untuk bedah otonom?

Namun, ketika para peneliti mulai mempelajarinya, mereka menemukan bahwa ada kesulitan dalam membiarkan robot Da Vinci melakukan operasi bedah melalui pembelajaran imitasi -

Sifat unik dari sistem DaVinci menciptakan tantangan unik yang menghambat implementasi pembelajaran imitasi.

Kanan atas adalah lingkungan medis sebenarnya, dan kanan bawah adalah pengaturan eksperimental peneliti.

Selain itu, karena pengukuran gabungan tidak tepat, kinematika ke depan akan menjadi tidak konsisten, dan sekadar melatih kebijakan menggunakan data perkiraan kinematik ini sering kali akan menyebabkan kegagalan tugas.

Bahkan tugas servo visual sederhana pun tidak dapat dilakukan oleh robot. Kebijakan yang dilatih untuk menghasilkan pose efektor akhir absolut (pendekatan umum untuk melatih kebijakan robot) memiliki tingkat keberhasilan mendekati 0 di semua tugas.

Bagaimana cara mengatasi keterbatasan ini?

Tim menemukan bahwa gerak relatif sistem da Vinci lebih konsisten dibandingkan kinematika maju absolutnya.

Oleh karena itu, mereka memikirkan cara: memperkenalkan rumus tindakan relatif dan menggunakan perkiraan data kinematika untuk pelatihan dan penerapan strategi.

Mereka mempertimbangkan tiga opsi: operasi yang berpusat pada kamera, berpusat pada alat, dan yang terkait dengan hibrid.

Representasi aksi yang berpusat pada kamera adalah pendekatan dasar yang memodelkan aksi sebagai pose absolut dari efektor akhir relatif terhadap ujung endoskopi.Dua lainnya adalah rumus relatif yang menentukan tindakan relatif terhadap bingkai alat saat ini (yaitu efektor akhir) atau bingkai ujung endoskopi.

Kemudian, kebijakan tersebut dilatih menggunakan gambar sebagai masukan dan representasi tindakan di atas.

Dalam hal ini, pendekatan mereka berbeda dengan karya sebelumnya yang menggunakan data kinematik sebagai masukan. Namun, dalam karya ini, data kinematik Da Vinci mungkin tidak dapat diandalkan.

Model mereka didasarkan pada ACT, arsitektur berbasis Transformer.

Tim mengusulkan desain strategi yang hanya menggunakan grafik sebagai masukan dan keluaran lintasan sikap relatif

Jika pendekatan ini berhasil, repositori data klinis berukuran besar yang berisi perkiraan kinematika dapat digunakan secara langsung untuk pembelajaran robot tanpa koreksi lebih lanjut.

Hal ini tidak diragukan lagi sangat penting untuk operasi bedah klinis robot.

Benar saja, setelah memperkenalkan rumus tindakan relatif, tim menggunakan data perkiraan kinematik untuk berhasil mendemonstrasikan pembelajaran imitasi pada DaVinci. Tidak hanya tidak memerlukan koreksi kinematik lebih lanjut, namun efeknya juga jauh lebih baik daripada metode dasar.

Eksperimen menunjukkan bahwa pembelajaran imitasi tidak hanya dapat secara efektif mempelajari tugas-tugas bedah yang kompleks, namun juga menggeneralisasi skenario baru, seperti pada jaringan manusia nyata yang tidak terlihat.

Selain itu, kamera pergelangan tangan juga sangat penting untuk mempelajari tugas operasi bedah.

Kini, selain tugas otonom yang telah ditunjukkan sebelumnya seperti manipulasi jaringan, penanganan jarum, dan pengikatan simpul, robot da Vinci juga dapat melakukan berbagai operasi.

Generalisasi zero-shot

Model tim Stanford telah menunjukkan kemampuan beradaptasi dengan skenario baru, seperti keberadaan jaringan hewan yang tidak diketahui.

Ini adalah video Leonardo da Vinci menjahit dan mengikat daging babi -

Jika itu ayam, Da Vinci juga bisa dengan akurat mengambil jarum bedah yang diletakkan di permukaan daging.

Hal ini menunjukkan harapan untuk perluasan studi klinis di masa depan.

coba lagi perilaku

Lantas, jika terjadi gangguan lingkungan, apakah Leonardo da Vinci masih bisa tampil stabil?

Terlihat setelah alat lain tiba-tiba menerobos dan dengan sengaja melepas jahitan bedah, Leonardo da Vinci tidak berhenti dan melanjutkan aksi pengikatan simpul tersebut.

Sepanjang video di bawah ini, da Vinci gagal mengambil jarum bedah pada operasi pertama. Ia dengan cepat menyadari fakta ini dan berhasil mengambil jarum melalui penyesuaian otomatis.

tes pengulangan

Bedah klinis bukanlah hal yang mudah. ​​Robot klinis harus dapat direproduksi dan “sangat mudah” adalah kemampuan utamanya.

Tim peneliti merilis video uji pengulangan Da Vinci dan mengamati berbagai operasinya dari sudut pandang berbeda, dan pada dasarnya hasilnya sempurna.

Jalur teknis

Seperti yang ditunjukkan pada gambar di bawah, sistem dVRK robot da Vinci terdiri dari manipulator kamera endoskopi (ECM) dan dua manipulator sisi pasien (PSM1, PSM2) yang berbagi basis robot yang sama.

Setiap lengan merupakan kombinasi berurutan dari sambungan pasif, diikuti oleh sambungan aktif bermotor.

Namun pada umumnya penggunaan potensiometer pada semua joint akan mengakibatkan kinematika lengan ke depan tidak akurat, bahkan sampai 5 cm.

Sayangnya, data kinematika maju yang disediakan dVRK tidak stabil. Hal ini dikarenakan pengaturan sambungan (biru) hanya menggunakan potensiometer untuk pengukuran sambungan sehingga tidak dapat diandalkan.Sambungan aktif (merah muda) menggunakan potensiometer dan encoder motor untuk meningkatkan akurasi

Untuk memungkinkan Da Vinci menyelesaikan tugas operasi bedah melalui pembelajaran imitasi, mengingat kinematika maju robot yang tidak akurat, tim mengusulkan tiga metode representasi tindakan yang disebutkan di atas, di antaranya metode relatif campuran yang semakin meningkatkan Akurasi gerakan translasi.

Detail implementasi

Untuk melatih kebijakan yang layak, penggunaan strategi aksi chunking dengan Transformer (ACT) dan difusi dipelajari.

Mereka melatih kebijakan tersebut dengan menggunakan gambar kamera endoskopi dan pergelangan tangan sebagai masukan, yang kemudian dikurangi menjadi ukuran gambar 224x224x3.

Ukuran masukan asli gambar endoskopi bedah adalah 1024x1280x3 dan gambar pergelangan tangan adalah 480x640x3.

Data kinematik tidak diberikan sebagai masukan seperti yang biasa terjadi pada metode pembelajaran imitasi lainnya karena data kinematik seringkali tidak konsisten karena keterbatasan desain dVRK.

Keluaran kebijakan meliputi posisi end-effector (delta), orientasi (delta), dan sudut mandibula kedua lengan.

prosedur percobaan

Dalam percobaan ini, tujuan peneliti adalah untuk menemukan jawaban atas pertanyaan-pertanyaan ini -

1. Apakah pembelajaran imitasi cukup untuk tugas bedah yang kompleks? 2. Apakah gerak relatif dVRK lebih stabil dibandingkan kinematika maju absolutnya? 3. Apakah penggunaan kamera pergelangan tangan penting untuk meningkatkan tingkat keberhasilan? 4. Dapatkah model tersebut melakukan generalisasi secara efektif dalam skenario baru yang belum pernah terjadi sebelumnya?

Hal pertama yang harus dinilai adalah apakah gerak relatif da Vinci lebih konsisten dibandingkan kinematika maju absolutnya.

Metode evaluasinya adalah dengan mencatat lintasan referensi berulang kali menggunakan rumus gerak absolut dan relatif dalam konfigurasi robot yang berbeda.

Secara khusus, robot perlu menempatkan lengan dan endoskopi pada posisi yang kira-kira sama menggunakan lubang yang sama di kubah yang meniru perut manusia.

Tugas ini tidak sepele karena lubangnya jauh lebih besar daripada dimensi endoskopi dan poros perkakas, dan perkakas harus dimasukkan secara manual ke dalam lubang dengan menggerakkan sambungan pemasangan.

Secara keseluruhan, percobaan menunjukkan bahwa gerak relatif lebih konsisten dengan adanya kesalahan pengukuran. Oleh karena itu, memodelkan tindakan strategis sebagai gerakan relatif adalah pilihan yang lebih baik.

Dalam konfigurasi ini, total 224 percobaan pengangkatan jaringan, 250 percobaan pengambilan dan penyerahan jarum, dan 500 percobaan pembuatan simpul dikumpulkan.

Gambar 5 menunjukkan lintasan referensi yang direkam berulang kali dalam berbagai konfigurasi robot untuk menguji pengulangan semua representasi tindakan.

Gambar kiri menunjukkan rekonstruksi sempurna lintasan referensi untuk semua representasi gerak, karena sambungan robot belum bergerak sejak lintasan referensi diperoleh.

Saat robot bergerak ke kiri atau ke kanan (gambar tengah dan kanan), representasi aksi yang berpusat pada kamera tidak dapat melacak lintasan referensi, sedangkan representasi aksi relatif dapat melacak lintasan referensi dengan baik.

Pelacakan lintasan dalam berbagai konfigurasi robot

Selain itu, tim juga mengevaluasi tingkat keberhasilan tugas model yang dilatih menggunakan berbagai representasi tindakan.

Hasilnya menunjukkan bahwa strategi yang dilatih menggunakan representasi tindakan relatif (representasi tindakan yang berpusat pada alat dan representasi tindakan relatif hibrid) berkinerja baik, sedangkan strategi yang dilatih menggunakan kinematika maju absolut gagal.

Pada gambar di bawah, baris paling atas adalah tugas mengangkat tisu. Robot perlu memegang sudut bantalan karet (tisu) dan mengangkatnya ke atas.

Selama latihan, sudut jaringan tetap berada di dalam kotak merah, menunjukkan konfigurasi sudut saat pengujian.

Barisan tengah adalah pengambilan dan penyerahan jarum.

Selama pelatihan, jarum ditempatkan secara acak di dalam kotak merah. Saat pengujian, punuk tengah jarum ditempatkan di 9 posisi seperti yang ditunjukkan untuk menegakkan pengaturan yang konsisten selama evaluasi.

Pada baris paling bawah, robot sedang melakukan proses mengikat simpul dengan menggunakan tali di sebelah kiri hingga membentuk lingkaran, menarik ujung tali melalui lingkaran, kemudian menarik klemnya menjauhi satu sama lain.

Pada saat latihan, posisi tali dari matras ditempatkan secara acak di dalam kotak merah, sedangkan pada saat pengujian, tali ditempatkan di tengah kotak merah.

Video di bawah ini menunjukkan hasil strategi latihan menggunakan kinematika maju absolut (gerakan berpusat pada kamera) lengan.

Strategi-strategi ini gagal menyelesaikan tugas karena kesalahan dalam kinematika maju lengan da Vinci, yang berubah secara signifikan antara pelatihan dan inferensi.

Selain itu, para peneliti mengamati bahwa kamera pergelangan tangan menghasilkan peningkatan kinerja yang signifikan saat mempelajari tugas-tugas bedah.

Tentunya, robot bedah yang dapat belajar secara mandiri diharapkan dapat semakin memperluas kemampuan ahli bedah di masa depan.

Referensi:

https://surgical-robot-transformer.github.io/