berita

ChatGPT mencemari lingkungan akademis

2024-08-01

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina


hal-hal cerdas
Disusun oleh Chen Junda
SuntingPanken

Menurut laporan dari jurnal akademis terkemuka Nature kemarin, penggunaan AI generatif dalam penulisan akademis telah mengalami pertumbuhan yang luar biasa. Penelitian yang relevan menunjukkan bahwa 10% abstrak makalah di PubMed, database terbesar di bidang biomedis, diduga ditulis oleh AI, yang setara dengan keterlibatan AI dalam 150.000 makalah setiap tahunnya.

Penelitian dari Berlin University of Applied Sciences di Jerman menunjukkan bahwa akurasi rata-rata alat pendeteksi AIGC mainstream hanya 50%, dan mudah untuk menentukan bahwa konten tulisan manusia dihasilkan oleh AI. Namun, banyak makalah yang dihasilkan AI dapat dengan mudah disembunyikan melalui parafrase, substitusi sinonim, dll. Selain itu, penggunaan alat AI oleh penutur asli bahasa Inggris lebih sulit dideteksi.

Meskipun alat AI telah banyak digunakan di dunia akademis sebelumnya, penggunaan AI generatif untuk menghasilkan makalah atau penulisan untuk orang lain secara langsung masih kontroversial. Alat AI mempermudah plagiarisme dan dapat menyebabkan penyalahgunaan konten berhak cipta.

Penulisan dengan bantuan AI bukannya tanpa kelebihan. Banyak sarjana menggunakan penulisan dengan bantuan AI generatif untuk menghindari kesulitan menerbitkan makalah dalam bahasa asing dan dapat fokus pada penelitian ilmiah itu sendiri. Banyak jurnal mengizinkan penggunaan alat AI generatif, namun mengharuskan penulis untuk mengungkapkan penggunaannya secara rinci dalam makalah mereka.

1. AI mungkin terlibat dalam penulisan 150.000 abstrak, dan penutur bahasa Inggris non-pribumi lebih mungkin ditemukan

Sejak ChatGPT dirilis pada akhir tahun 2022, penggunaan AI dalam penulisan akademis telah meningkat pesat. Penelitian dari Universitas Tübingen di Jerman menunjukkan bahwa pada paruh pertama tahun 2024, setidaknya 10% abstrak dalam makalah biomedis akan ditulis menggunakan AI, yang berarti sekitar 150.000 makalah per tahun setiap tahunnya.

Tim peneliti ini menganalisis abstrak dari 14 juta makalah di database bidang biomedis PubMed dari tahun 2010 hingga 2024. Mereka menemukan bahwa setelah munculnya alat AI generatif yang diwakili oleh ChatGPT, penggunaan kata-kata gaya pengubah tertentu meningkat secara tidak normal. Tim peneliti menggunakan frekuensi kata-kata tersebut untuk memperkirakan proporsi abstrak yang ditulis menggunakan AI.

Para peneliti juga menemukan bahwa penggunaan alat tulis AI juga bervariasi di berbagai negara. Data mereka menunjukkan bahwa makalah dari negara-negara seperti Tiongkok dan Korea Selatan lebih sering menggunakan alat penulisan AI dibandingkan makalah dari negara-negara berbahasa Inggris.


▲ Penggunaan kosa kata stilistika dalam penulisan akademis telah meningkat (Sumber: "Alam")

Menurut analisis tim peneliti, frekuensi penggunaan AI oleh penulis di negara-negara berbahasa Inggris mungkin serupa dengan negara-negara lain, namun cara mereka menggunakannya mungkin lebih sulit untuk dideteksi.

Faktanya, sebelum gelombang AI generatif ini muncul, AI telah digunakan di berbagai bidang seperti penemuan obat dan prediksi struktur protein sebuah peran.

Penerapan AI generatif dalam penulisan akademik menimbulkan dua masalah besar. Di satu sisi, plagiarisme menjadi lebih mudah dengan AI generatif. Plagiator dapat menggunakan AI generatif untuk memparafrasekan penelitian orang lain dengan gaya jurnal akademik. Teks yang diparafrasekan umumnya kurang mirip dengan teks aslinya, sehingga sulit untuk dinilai sebagai plagiarisme.

Selain itu, model AI menggunakan sejumlah besar konten berhak cipta selama proses pelatihan, dan model tersebut kemungkinan besar akan mengeluarkan konten berhak cipta kepada pengguna tanpa perintah apa pun. The New York Times pernah menemukan bahwa chatbot AI OpenAI, ChatGPT, secara langsung mengeluarkan kata-kata asli dari laporan New York Times tanpa menandai sumbernya. Mereka juga menggugat OpenAI atas pelanggaran.

2. Alat pendeteksi gagal dalam permainan kucing-dan-tikus. Alat-alat tersebut dapat dengan mudah diakali dan salah menilai.

Menanggapi meningkatnya penggunaan alat AI, banyak perusahaan telah meluncurkan alat deteksi konten AIGC, namun alat ini gagal dalam “permainan kucing-dan-tikus” dengan AI generatif.

Pada akhir tahun lalu, beberapa peneliti dari University of Applied Sciences Berlin di Jerman menerbitkan sebuah penelitian. Mereka menemukan bahwa hanya 5 dari 14 alat pendeteksi AI yang umum digunakan di dunia akademis mencapai tingkat akurasi lebih dari 70%. Akurasi pengenalan rata-rata hanya 50%-60%.


▲ Alat pendeteksi AIGC yang umum di pasaran memiliki kinerja yang buruk (Sumber: Weber‑Wulf dkk.)

Alat pendeteksi AIGC ini memiliki kinerja yang lebih buruk ketika dihadapkan pada konten buatan AI yang diedit oleh manusia dan ditranskripsi oleh mesin. Dengan hanya pengoperasian sederhana seperti penggantian sinonim dan penyesuaian urutan kata, keakuratan alat deteksi AIGC akan berkurang hingga kurang dari 50%. Penelitian telah menunjukkan bahwa akurasi pengenalan komprehensif alat pendeteksi AIGC hanya 50%.


▲05 dan 06 pada gambar masing-masing adalah teks setelah diedit oleh manusia dan parafrase mesin yang dihasilkan oleh AI. Alat deteksi AIGC berkinerja sangat buruk pada kedua jenis teks ini (Sumber: Weber‑Wulf dkk.)

Data menunjukkan bahwa alat pengenalan AIGC yang ada di pasaran memiliki akurasi tinggi dalam mengidentifikasi makalah yang ditulis manusia. Namun, jika penulis pertama kali menulis makalah asli dalam bahasa yang ia kenal dan kemudian meminta perangkat lunak terjemahan untuk menerjemahkannya ke bahasa lain, alat identifikasi mungkin salah menilainya sebagai AIGC. Hal ini dapat berdampak sangat negatif terhadap reputasi akademik akademisi dan mahasiswa.

3. Batasan antara penulisan yang dibantu dan pelanggaran akademis menjadi kabur, dan alat tulis AI juga memiliki manfaatnya.

Namun, penggunaan alat AI generatif memang memberikan kemudahan bagi sebagian peneliti. Hend Al-Khalifa, peneliti teknologi informasi di King Saud University di Riyadh, menceritakan bahwa sebelum munculnya alat AI generatif, banyak rekan yang tidak mahir berbahasa Inggris menghadapi kesulitan besar saat menulis makalah, dan kini, para sarjana tersebut dapat fokus pada penelitian itu sendiri tanpa menghabiskan terlalu banyak waktu untuk menulis.

Sulit untuk membedakan antara penulisan yang dibantu AI dan pelanggaran akademis. Soheil Feizi, seorang ilmuwan komputer di Universitas Maryland, percaya bahwa penggunaan AI generatif untuk memparafrasekan isi makalah yang sudah ada jelas merupakan plagiarisme.

Namun penggunaan alat AI untuk membantu mengekspresikan pendapat tidak boleh dihukum. Dengan alasan untuk secara proaktif mengungkapkan penggunaan alat AI, peneliti dapat menggunakan kata-kata cepat yang mendetail untuk menghasilkan teks, atau menggunakan alat AI untuk mengedit draf.

Banyak jurnal juga telah menstandarkan penggunaan alat AI dalam penulisan akademis, tanpa secara langsung melarangnya. Jurnal akademis terkemuka "Science" menetapkan bahwa AI tidak dapat dicantumkan sebagai penulis bersama, dan penulis harus mengungkapkan sistem AI dan kata-kata cepat yang digunakan, serta bertanggung jawab atas keakuratan konten dan apakah ada dugaan plagiarisme.


▲Peraturan terkait penggunaan AI dalam jurnal akademik "Science" (Sumber: Website resmi jurnal akademik "Science")

Jurnal akademis Nature menetapkan bahwa peneliti harus mencatat penggunaan alat AI generatif di bagian "Metode Penelitian". Statistik menunjukkan bahwa pada Oktober 2023, 87 dari 100 jurnal peringkat teratas telah mengembangkan pedoman untuk menggunakan alat AI generatif.

Kesimpulan: Alat AI bukanlah sebuah momok, hanya mengubah orientasi akademis yang dapat mengatasi akar permasalahannya

Pada musim wisuda universitas yang lalu, banyak universitas dalam negeri yang juga memperkenalkan alat pengujian AIGC dalam proses pembelaan dan peninjauan tesis kelulusan. Namun, penerapan indikator ini belum secara efektif mengurangi kesalahan akademis terkait alat AI. Ada juga berbagai layanan di pasar yang berspesialisasi dalam mengurangi tingkat AI. Setelah disalahartikan sebagai hasil dari AI, banyak makalah siswa yang diubah tanpa bisa dikenali karena penurunan tingkat AI.

Mengadopsi pendekatan permusuhan terhadap alat AI generatif dalam penelitian akademis mungkin tidak dapat mengatasi masalah ini. Para peneliti dari Berlin University of Applied Sciences di Jerman juga menekankan dalam merangkum penelitian bahwa masalah penyalahgunaan AI dalam penulisan akademis sulit diselesaikan hanya dengan deteksi AIGC. Menyesuaikan suasana akademis yang berorientasi pada kertas dan hasil adalah kuncinya memecahkan masalah ini.

Sumber: "Alam"