berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

insiden "room n 2.0" baru-baru ini di korea selatan sekali lagi mengangkat topik umum tentang deepfake ke permukaan.

para pelaku berkumpul di telegram dan menggunakan ai untuk mensintesis foto perempuan menjadi foto telanjang, yang menunjukkan bahwa lingkaran deepfake telah meluas dari bintang hiburan dan politisi hingga orang biasa seperti anda dan saya.

di era ketika ai telah menjadi ilmu pengetahuan yang menonjol, kami ingin memahami bagaimana teknologi ini, yang tampaknya bukan hal baru namun semakin populer dalam beberapa tahun terakhir, mempengaruhi kehidupan sehari-hari.

sejauh mana deepfake berevolusi, dan dampak buruk apa yang ditimbulkannya? bagaimana cara menggunakan teknologi untuk melawan deepfake? bagaimana cara orang awam mencegah deepfake?

kami membicarakan masalah ini dengan dr. chen peng, ilmuwan di ruilai intelligent algorithm. ruilai wisdom didirikan pada tahun 2018 dan diinkubasi oleh institut penelitian kecerdasan buatan universitas tsinghua. ruilai wisdom telah terlibat secara mendalam dalam pendeteksian uang palsu dengan ai selama bertahun-tahun.

chen peng memberi tahu kami bahwa orang-orang biasa telah gagal total dalam mengidentifikasi deepfake, dan anti-deepfake masih bergantung pada ai.

sebuah gambar, beberapa detik, deepfake semakin mudah

deepfake pertama kali muncul pada tahun 2017 di reddit, "tieba versi amerika". bentuk utamanya adalah mengganti wajah selebriti dengan protagonis video porno, atau untuk menipu tokoh politik.

saat ini, menyebarkan rumor dan terlibat dalam pornografi masih menjadi penggunaan umum deepfakes, namun kini menjadi lebih mudah.

chen peng menjelaskan bahwa mengumpulkan satu foto saja sudah cukup untuk mengubah wajah. tentu saja, semakin banyak data yang dikumpulkan, detail wajah seperti tahi lalat dan fitur wajah akan dimodelkan dengan lebih baik, dan efek perubahan wajah akan semakin realistis. .

pada bulan april tahun ini, proyek seni pertunjukan dua seniman jerman adalah contoh nyata.

mereka merancang kamera ai nuca. badan kamera dicetak 3d dan memiliki lensa sudut lebar 37mm bawaan. foto yang diambil akan dikirim ke cloud, di mana ai akan "melepas pakaian" dan foto akan diambil akan "dikeluarkan" dalam waktu kurang dari 10 detik.

nuca sebenarnya tidak mengetahui seperti apa tubuh telanjang anda. ia hanya menganalisis jenis kelamin, wajah, usia, bentuk tubuh, dll. untuk menampilkan tubuh telanjang anda di mata ai.

kasar? mungkin itu tidak masalah. dalam beberapa detik, anda telah terpapar ai, dan orang lain mungkin percaya bahwa itu adalah anda.

"room n 2.0" di korea selatan juga telah diekspos dengan detail serupa: ruang obrolan telegram dengan 227.000 orang, robot bawaan yang mensintesis foto wanita menjadi foto telanjang dan dapat menyesuaikan payudara, serta menghasilkan konten deepfake dalam 5 hingga 7 detik.

▲ tangkapan layar ruang obrolan, menjelaskan cara menggunakan deepfake

mengganti wajah dan melepas pakaian hanyalah salah satu aplikasi deepfake.

menggunakan model ai generatif (gan, vae, model difusi, dll.) untuk mensintesis atau membentuk konten realistis, termasuk teks, gambar, audio, dan video, dapat disebut deepfake.

diantaranya, audio deepfake juga cukup umum.

pada awal tahun 2023, reporter teknologi joseph cox menelepon hotline layanan otomatis bank, memutar suara ai "suara saya adalah kata sandi saya" yang dikloning oleh elevenlabs, dan meminta untuk memeriksa saldo.

chen peng berkata bahwa hal ini tidak mengherankan. dulu, dibutuhkan beberapa menit atau puluhan menit untuk menangkap informasi cetak suara kita, namun sekarang informasi tersebut dapat ditangkap secara kasar dalam waktu setengah menit atau puluhan detik. jika kami menerima beberapa panggilan yang melecehkan lagi, suara kami mungkin akan bocor.

tentu saja, jika anda ingin mengkloning lebih akurat dan menyalin nada serta gaya bicara lainnya, seperti membiarkan guo degang berbicara bahasa inggris cross talk atau membiarkan swift berbicara bahasa mandarin, anda masih memerlukan lebih banyak korpus.

bahkan teks pun merupakan area yang sangat dipalsukan. teks yang dihasilkan ai telah lama terlihat di mana-mana, dan telah digunakan oleh siswa untuk menyontek dan mengerjakan pekerjaan rumah, sehingga membuat pusing para guru, namun kita mungkin tidak menyadari risiko di baliknya.

berita dan rumor palsu adalah area yang paling terkena dampak deepfake teks. chen peng mengatakan bahwa di masa lalu, manusia masih perlu menulis salinannya sendiri, namun sekarang, ai dapat menghasilkan berbagai komentar tentang peristiwa tertentu dan kemudian secara otomatis mempostingnya di media sosial. .

deepfake lebih cepat dan sederhana. menurut chen peng, ada tiga alasan utama.

pertama, terdapat terobosan dalam teknologi ai generatif seperti vincent pictures dan vincent video. kedua, kekuatan komputasi menjadi lebih populer, dan kartu grafis tingkat konsumen sudah dapat menjalankan model ai generatif.

poin penting lainnya adalah teknologi deepfake telah dioptimalkan ke berbagai alat dengan ambang batas yang lebih rendah.

ambil contoh perubahan wajah. ada banyak proyek sumber terbuka untuk deepfake, seperti deepfacelive dan deep-live-cam di github.

▲ siaran langsung ai musk menggunakan deep-live-cam

jika pemula yang belum paham teknologi masih merasa kesulitan, ada juga profesional yang memasukkan nasi langsung ke mulut mereka, merangkum modelnya, dan menulis perangkat lunak sederhana dan mudah digunakan untuk diunduh pemain secara gratis, dan mendapatkan sejumlah uang. biaya iklan sendiri, termasuk banyak aplikasi sekali klik untuk pengupasan.

sedangkan untuk audio deepfake, sudah ada perusahaan komersial matang yang memungkinkan pengguna dengan mudah menggunakan layanan dalam bentuk sdk (development kit) atau api (application programming interface).

pengguna bahkan tidak memerlukan perangkat dengan kartu grafis untuk menerapkan program, melainkan mengunggah konten seperti audio ke situs web, menunggu hasilnya dihasilkan, lalu mengunduhnya.

oleh karena itu, prinsip-prinsip teknis yang rumit tersembunyi di balik layar, dan apa yang ada di depan pengguna adalah antarmuka yang “out-of-the-box”. bahkan remaja pun dapat membuat informasi palsu sesuka hati.

singkatnya, kesimpulan chen peng adalah:

deepfake telah mencapai titik di mana orang awam bisa dengan mudah mendapatkannya.

manusia mungkin gagal total dalam mengidentifikasi deepfake dengan mata telanjang

ketika sebuah teknologi “terbang ke rumah orang-orang biasa”, orang-orang yang paling mungkin terkena dampaknya adalah orang-orang biasa.

penipuan adalah salah satu cara deepfake yang paling umum melakukan kejahatan.

pada awal tahun ini, perusahaan multinasional cabang hong kong ditipu sebesar us$25 juta karena ai. korban berpartisipasi dalam konferensi video, dan yang lainnya adalah penipu yang telah menjalani "pengubahan wajah ai" dan "pengubahan suara ai".

▲ polisi mendemonstrasikan cara menggunakan deepfake untuk memalsukan konferensi video dengan banyak orang

sekarang setelah keadaan menjadi seperti ini, apa yang dapat kita lakukan untuk melindungi diri kita sendiri?

jika seseorang menggunakan deepfake untuk menipu anda, memanfaatkan celah ai adalah salah satu caranya, tetapi cara tersebut memiliki umur simpan.

misalnya saja saat video call, jika kita mencurigai wajah pihak lain telah digantikan oleh ai, kita dapat memandu pihak lain untuk melakukan tindakan tertentu, seperti meletakkan tangan di depan wajahnya dan menggeser beberapa kali dengan cepat, atau memutar kepalanya secara signifikan.

jika model di balik penggantian wajah ai tidak dioptimalkan secara khusus untuk oklusi tangan, model tersebut akan terekspos dan wajah mungkin muncul di punggung tangan, atau tiba-tiba menjadi terdistorsi.

prinsip memutar kepala juga sama, jika pada tahap pengumpulan data pihak lain tidak dengan sengaja mengumpulkan bahan memutar kepala lebih dari 45 derajat, maka facial fit akan menjadi tidak natural.

namun kedepannya, kekurangan yang terlihat dengan mata telanjang pasti akan berkurang secara bertahap.

▲ tes “pemecahan masalah” universitas northwestern: buatan ai atau nyata?

chen peng bercanda bahwa jika penipu mengira anda adalah domba gemuk yang menunggu untuk disembelih dan dengan sengaja ingin menipu anda, menghapus informasi media sosial anda, dan menghabiskan beberapa hari untuk mengoptimalkan model anda, maka metode ini tidak dijamin efektif.

jika suatu video tidak memiliki kekurangan tersebut, apakah berarti video tersebut asli? ini tidak benar.

efektif atau tidaknya tentu tidak bisa sepenuhnya efektif atau 100% efektif, namun efektif sampai batas tertentu.

dalam istilah yang lebih profesional, persepsi visual manusia berkinerja sangat baik pada tingkat semantik, seperti mampu dengan mudah membedakan makna objek atau pemandangan, namun ketika memproses nuansa tingkat rendah pada tingkat piksel, persepsi kemampuannya tidak sebaik ai model.

dari sudut pandang ini, chen peng percaya bahwa orang biasa telah gagal total dalam membedakan deepfake. para ahli mungkin masih bisa melawan, karena mereka telah melihat terlalu banyak dan memiliki kemampuan analisis yang relatif komprehensif, serta dapat melihat bahwa ada sesuatu yang tidak sesuai dengan aturan.

tak satu pun dari kita adalah leeuwenhoek, kita juga tidak memiliki mata yang tajam, namun sifat manusia tetap tidak berubah. oleh karena itu, kita juga dapat menarik garis pertahanan psikologis tradisional yang tidak ada hubungannya dengan teknologi – berhati-hatilah saat berlayar.

penipuan sering kali mengikuti pola yang sama: mencuri privasi, menggunakan rasa takut, keserakahan, dan nilai emosional untuk mengarang cerita, berpura-pura menjadi kenalan atau mengemas diri untuk mendapatkan kepercayaan, dengan uang sebagai tujuan akhir.

▲ produk realbelieve dari realai smart akan mengeluarkan peringatan dini selama panggilan video.

ingatlah hal ini, dan kemudian lebih waspada. jangan mengklik tautan yang tidak dikenal, jangan memberikan kode verifikasi dengan santai, cobalah untuk tidak mengekspos wajah, suara, sidik jari, dan informasi biometrik pribadi anda secara berlebihan di internet, menerima panggilan telepon yang mencurigakan, dan mempunyai banyak pemikiran dalam hal uang. cara untuk memverifikasi identitas satu sama lain, seperti menanyakan hal-hal yang hanya diketahui satu sama lain.

seperti pepatah lama, hal terbaik yang harus dilakukan adalah menyerang hati. begitu kita menyadari bahwa kita mungkin tertipu, kecil kemungkinan kita untuk tertipu.

sihir versus sihir, ai mengalahkan ai

meningkatkan kesadaran anti-penipuan saja tidak cukup. insiden “room n 2.0” di korea selatan menunjukkan bentuk kejahatan deepfake lainnya. orang-orang sedang duduk di rumah, dan periuk datang dari surga.

korban foto telanjang palsu mungkin menghadapi "revenge porn" - pelaku mengancam akan menyebarkan materi palsu untuk memeras dan melecehkan korban, sehingga menyebabkan kerugian sekunder yang lebih serius.

namun sabit ini mungkin juga muncul di kepala kita: bayangkan geng penipu mengambil foto anda entah dari mana, menggabungkannya menjadi video vulgar, mengirim pesan teks untuk mengancam anda, dan jika anda tidak mentransfer uang, itu akan terungkap. di seluruh internet. bagaimana anda bisa membuktikan diri?

ruilai wisdom, tempat chen peng bekerja, memang pernah menghadapi urusan pribadi semacam ini. pihak lain mengatakan bahwa wajahnya diubah dalam sebuah video, dan bisakah dia dibersihkan?

tentu saja ada caranya: sihir versus sihir, ai mengalahkan ai.

chen peng memperkenalkan bahwa ada dua jalur teknis utama untuk pemalsuan ai: pertahanan aktif dan deteksi pasif.

mari kita bicara tentang pertahanan aktif terlebih dahulu. saat kita memposting foto di media sosial dan tidak ingin foto tersebut digunakan oleh orang lain, kita dapat menyematkan beberapa suara yang tidak terlihat secara visual di dalamnya.

jika orang lain menggunakan foto kita untuk melatih model, ai tidak akan dapat mengekstraksi representasi visual dengan baik karena gangguan tak kasat mata ini, dan hasil akhirnya mungkin terdistorsi atau kabur. ini disebut "serangan sampel permusuhan". "

"tanda air semi-rentan" adalah metode pertahanan aktif lainnya. setelah menambahkan watermark, jika ada orang lain yang mengedit foto kita, maka watermark tersebut akan musnah dan kita akan mengetahui bahwa gambar tersebut telah diproses dan tidak dapat dipercaya.

tanda air tidak dapat secara langsung mencegah gambar menjadi deepfake, namun dapat mendeteksi dan mengesahkan keaslian gambar.

▲ ada eksplorasi serupa di luar negeri. adobe memulai standar c2pa, menggunakan parameter metadata sebagai cara untuk menentukan sumber gambar.

tentu saja, ambang batas pertahanan aktif lebih tinggi, jadi kita perlu mengambil tindakan pencegahan sebelum hal itu terjadi dan melakukan beberapa pemrosesan pada gambar terlebih dahulu.

situasi yang lebih umum adalah kita tidak punya cara untuk memprediksinya. kita menerima "foto telanjang" diri kita sendiri, tapi ini juga pertama kalinya kita "berterus terang" pada diri kita sendiri. saat ini, deteksi pasif harus digunakan.

realai intelligence memiliki serangkaian produk ai yang bertanggung jawab untuk mendeteksi pemalsuan, termasuk platform deteksi konten ai generatif deepreal, firewall keamanan ai wajah realguard, dan sebagainya.

▲deapreal

sederhananya, penggunaan ai untuk mengidentifikasi ai dibagi menjadi dua langkah. pertama, mengekstrak sejumlah besar fitur pemalsuan, lalu membuat model berdasarkan sampel ini agar ai dapat mempelajari aturan identifikasi pemalsuan.

warna yang terdistorsi, tekstur yang tidak masuk akal, ekspresi yang tidak wajar, audio dan video yang tidak sinkron, bentuk iris mata yang tidak beraturan, dan sorotan yang tidak konsisten pada kedua murid semuanya merupakan materi pembelajaran ai.

diantaranya, keakuratan pemalsuan video mungkin lebih tinggi daripada gambar, karena video terdiri dari serangkaian gambar yang berkesinambungan, yang memberikan lebih banyak informasi yang dapat digunakan untuk pemalsuan daripada satu gambar, seperti kemunculan karakter di antara gambar yang berbeda. bingkai. kesinambungan tindakan.

intinya, pemalsuan ai seperti menggunakan mata manusia untuk mencari kesalahan, dan juga mengeksploitasi kelemahan model ai itu sendiri.

▲ para peneliti dari akademi ilmu pengetahuan china membuat model ai untuk mendeteksi deepfake menjadi sumber terbuka bagi dunia

namun cacatnya pasti akan membaik secara bertahap, sehingga muncul pertanyaan yang sangat kritis: apakah ada pemalsuan terlebih dahulu baru kemudian autentikasi? jika demikian, bukankah pemalsuan selalu berada setengah langkah di belakang pemalsuan?

chen peng menjawab bahwa teknologi yang dihasilkan mungkin sedikit lebih maju dari teknologi pemalsuan, tetapi mereka memiliki laboratorium serangan dan pertahanan internal berwarna merah-biru yang mensimulasikan deepfake sambil bertahan melawan deepfake, dan terus meningkatkan kemampuan deteksi deepfake.

jika ada teknologi deepfake baru yang keluar, mereka dapat dengan cepat mereproduksinya dan memverifikasinya pada produk pendeteksi. "ketika teknologi baru keluar, meskipun saya belum melihatnya, saya masih dapat mendeteksinya sampai batas tertentu."

selain itu, model itu sendiri juga memiliki kemampuan generalisasi tertentu. ia telah melihat banyak konten deepfake, dan dapat mengidentifikasi serta mendeteksinya secara akurat sampai batas tertentu jika menemukan konten yang tidak terlihat.

▲ platform seperti bilibili akan memberi label pada konten hiburan yang mengubah wajah ai

singkatnya, pemalsuan ai dan deteksi barang palsu adalah "permainan kucing-kucingan" yang merupakan konfrontasi jangka panjang dan persaingan timbal balik.

inilah sebabnya chen peng mempelajari algoritma pemalsuan ai:

anti-deepfake terlalu konfrontatif dan membutuhkan investasi jangka panjang. tidak seperti banyak produk ai, anda bisa melupakannya setelah menyelesaikannya.

meskipun demikian, ia masih relatif optimis: "gunakan undang-undang dan peraturan untuk mengawasi, platform mengelola konten, industri menyediakan teknologi dan alat, dan media menyadarkan lebih banyak orang akan risiko. jika tata kelola multi-aspek mencapai tingkat tertentu, akan ada pasti akan menjadi pelonggaran."

di masa depan, saat berselancar di internet, kita mungkin terjebak dalam skenario yang agak tidak masuk akal: kode verifikasi memungkinkan anda membuktikan "saya adalah manusia", dan deepfake memungkinkan anda membuktikan "saya bukan saya".

teknologi tidak bisa sepenuhnya mendeteksi semua niat jahat, namun manusia tidak perlu terlalu cemas. keberhasilan deepfake hanyalah hasil akhir, namun pencegahan deepfake bisa dimulai kapan saja.

seperti yang dikatakan chen peng, bahkan produk ai yang sangat sederhana pun merupakan proyek yang sangat sistematis.

kita adalah bagian dari sistem yang lebih besar. biarkan pihak yang dirugikan bersuara, biarkan pelakunya dihukum, biarkan teknologi untuk menghentikan tindakan jahat melakukan intervensi, dan tingkatkan konsep masyarakat satu inci pun. hanya dengan begitu kita dapat bekerja sama menuju teknologi yang tidak ditakuti namun adil penggunaan masa depan.