berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

sejakkecerdasan buatan generatif Sejak epidemi ini melanda dunia, banyak pembuat konten yang mengklaim bahwa karya mereka digunakan untuk melatih model kecerdasan buatan tanpa izin. Namun sejauh ini, sulit untuk menentukan apakah pekerjaan yang mereka katakan benar-benar digunakan dalam kumpulan data pelatihan tertentu.

Kini, para peneliti telah mengembangkan cara baru untuk membuktikan hal tersebut. Baru-baru ini, tim peneliti dari Imperial College London mengembangkan "Perangkap Hak Cipta", sejenis teks tersembunyi yang memungkinkan penulis dan penerbit menandai karya mereka secara halus untuk kemudian mendeteksi apakah karya tersebut memiliki hak cipta. Idenya mirip dengan taktik yang sebelumnya digunakan oleh pemegang hak cipta, seperti menambahkan lokasi palsu ke peta atau kata-kata palsu ke kamus.

Jebakan hak cipta AI ini telah memicu salah satu perdebatan terbesar di bidang AI. Banyak penerbit dan penulis mengajukan tuntutan hukum terhadap perusahaan teknologi, mengklaim bahwa kekayaan intelektual mereka dimasukkan dalam kumpulan data pelatihan kecerdasan buatan tanpa izin.Misalnya, New York TimesBuka AI Gugatan mungkin merupakan kasus yang paling umum.

Sejauh ini, kode untuk menghasilkan dan mendeteksi jebakan telah diluncurkan di GitHub. Selanjutnya, tim berencana mengembangkan alat yang memungkinkan pengguna membuat dan memasukkan jebakan hak cipta sendiri.

Yves-Alexandre de Montjoye, profesor matematika terapan dan ilmu komputer di Imperial College London, yang memimpin penelitian tersebut, mengatakan pada Konferensi Pembelajaran Mesin Internasional, sebuah konferensi utama mengenai kecerdasan buatan di Wina minggu ini: “Saat ini tidak ada konsensus mengenai apa yang harus dilakukan. digunakan untuk melatih kecerdasan buatan. Transparansi dalam hal model cerdas sangat kurang, yang kami yakini menghalangi perusahaan AI dan pembuat konten untuk menemukan keseimbangan yang tepat.”

Untuk membuat jebakan tersebut, dia dan timnya menggunakan generator kata untuk membuat ribuan kalimat sintetik. Kalimat-kalimatnya panjang dan pada dasarnya omong kosong, seperti, "Ketika masa-masa sulit datang... Apa yang sedang dijual, dan yang lebih penting, kapan waktu terbaiknya, daftar ini memberi tahu Anda siapa yang buka pada hari Kamis di malam hari dengan jam penjualan reguler dan jam buka lainnya untukmu. "

Yves-Alexandre de Montjoye menjelaskan, “Kami membuat 100 kalimat jebakan, lalu secara acak memilih satu kalimat untuk dimasukkan ke dalam teks beberapa kali.” misalnya, di Gunakan teks putih dengan latar belakang putih, atau sematkan ke dalam kode sumber artikel. Kalimat ini harus diulang 100 hingga 1000 kali dalam teks.

Untuk mendeteksi kendala ini, mereka memasukkan 100 kalimat sintetik yang dihasilkan ke dalam model bahasa besar dan melihat apakah model tersebut memberi label pada kalimat tersebut sebagai kalimat baru. Jika model telah melihat kalimat jebakan dalam data pelatihannya, ini menunjukkan "skor kebingungan" yang lebih rendah; tetapi jika model "terkejut" dengan kalimat tersebut, berarti model tersebut menemukannya untuk pertama kali dan oleh karena itu kalimat tersebut tidak. perangkap.

Di masa lalu, peneliti telah menyarankan penggunaan model bahasa untuk menghafal data pelatihan guna menentukan apakah ada sesuatu dalam data tersebut. Teknik ini, yang dikenal sebagai "Serangan inferensi keanggotaan", bekerja lebih baik pada model besar tingkat lanjut, karena model ini cenderung mengingat data dalam jumlah besar selama pelatihan.

Sebaliknya, model yang lebih kecil yang semakin populer dan dapat dijalankan di perangkat seluler kurang rentan terhadap serangan inferensi keanggotaan karena jumlah data memori yang lebih kecil. Hal ini mempermudah untuk menentukan apakah model tersebut menargetkan hak cipta tertentu. dalam bentuk teks,” kata Gautam Kamath, asisten profesor ilmu komputer di Universitas Waterloo. Dia tidak terlibat dalam penelitian ini.

Jebakan hak cipta, sebagai cara untuk melakukan serangan inferensi keanggotaan, bahkan pada model yang lebih kecil. Tim Yves-Alexandre de Montjoye memasukkan jebakan mereka ke dalam kumpulan data pelatihan CroissantLLM. CroissantLLM adalah model bahasa bilingual Perancis-Inggris yang baru dikembangkan yang dilatih oleh tim peneliti di Imperial College London bekerja sama dengan mitra di industri dan akademisi. CroissantLLM memiliki 1,3 miliar parameter, hanya sebagian kecil dari model tercanggih (misalnya, GPT-4 dilaporkan memiliki 1,76 triliun parameter).

“Penelitian menunjukkan bahwa jebakan semacam itu memang dapat dimasukkan ke dalam data teks, yang secara signifikan meningkatkan efektivitas serangan inferensi keanggotaan, bahkan untuk model yang lebih kecil,” kata Gautam Kamath, namun dia menambahkan bahwa masih banyak yang harus dilakukan pada tahap ini dilakukan.

"Mengulangi frasa 75 karakter sebanyak 1.000 kali dalam sebuah teks berdampak besar pada teks aslinya. Hal ini dapat memungkinkan pelatih yang melatih model AI untuk menemukan jebakan dan melewati konten yang berisi jebakan tersebut, atau sekadar menghapusnya dan mengabaikan sisanya. teksnya. Ini juga membuat teks aslinya sulit dibaca,” kata Gautam Kamath.

"Hal ini membuat jebakan hak cipta tampak tidak praktis saat ini. Banyak perusahaan akan melakukan deduplikasi, dengan kata lain, mereka akan membersihkan data, dan jebakan hak cipta ini mungkin akan dihapus." Profesor ilmu komputer UC Irvine, startup Sameer Singh, ikut-ikutan. kata pendiri Spiffy AI. Dia juga tidak terlibat dalam penelitian tersebut.

Dalam pandangan Gautam Kamath, cara lain untuk memperbaiki jebakan hak cipta adalah dengan menemukan cara lain untuk menandai konten berhak cipta sehingga serangan inferensi keanggotaan bekerja lebih baik terhadap konten tersebut, atau untuk meningkatkan serangan inferensi keanggotaan itu sendiri.

Yves-Alexandre de Montjoye mengakui bahwa kendala-kendala ini tidak bisa diatasi dengan mudah. “Penyerang yang termotivasi bisa melepaskan jebakan itu jika dia tahu jebakan itu ada,” katanya.

"Tetapi apakah mereka dapat menghapus semuanya masih belum diketahui, dan ini mungkin seperti permainan 'kucing dan tikus'," katanya. "Meski begitu, semakin banyak jebakan yang Anda pasang, tanpa menghabiskan banyak sumber daya teknis, maka menjadi lebih sulit untuk menghilangkan semua jebakan.”

“Penting untuk diingat bahwa jebakan hak cipta mungkin merupakan tindakan sementara atau sekadar ketidaknyamanan bagi para pelatih model. Tidak mungkin bagi siapa pun untuk memposting konten yang berisi jebakan dan menjamin bahwa itu akan selalu menjadi jebakan yang valid.”

Tautan asli:

https://www.technologyreview.com/2024/07/25/1095347/a-new-tool-for-copyright-holders-can-show-if-their-work-is-in-ai-training-data/