berita

Pada pagi hari tanggal 18 Juli, OpenAI merilis penelitian teknologi terbaru-Prover-Verifier- di situs resminyapermainan。

Karena ChatGPT banyak digunakan di berbagai bidang seperti hukum, keuangan, dan pemasaran, sangat penting untuk memastikan bahwa keluaran model aman, akurat, dan dipahami dengan baik. Namun, karena kompleksitas dan variabilitas jaringan saraf, kami tidak dapat memverifikasi keakuratan konten yang dihasilkannya, yang akan menghasilkan keluaran "kotak hitam".

Untuk mengatasi masalah ini, OpenAI mengusulkan kerangka pelatihan baru Prover-Verifier Games ("PVG" disingkatnya). Misalnya, model kecil seperti GPT-3 digunakan untuk memverifikasi dan mengawasi keluaran model GPT-4 yang besar , sehingga meningkatkan akurasi keluaran dan pengendalian.

Faktanya, konsep teknologi PVG telah diusulkan pada awal Agustus 2021 dalam sebuah makalah , OpenAI juga terinspirasi oleh inspirasi ini. Ini adalah metode pelatihan berdasarkan teori permainan yang meningkatkan kualitas keluaran model dengan mensimulasikan interaksi antara pembukti dan pemverifikasi.

Dalam mekanisme ini, tugas Prover adalah menghasilkan konten, dan tugas Verifikator adalah menentukan apakah konten tersebut benar.

Ide inti modul PVG adalah untuk meningkatkan kinerja keseluruhan pembukti dan pemverifikasi melalui beberapa putaran pelatihan berulang. Dalam setiap putaran pelatihan, verifikator pertama-tama menggunakan pembelajaran yang diawasi untuk memprediksi kebenaran konten yang diambil sampelnya dari para pembukti pada putaran sebelumnya.

Tujuannya adalah untuk memungkinkan verifikator mempelajari cara mengidentifikasi jawaban yang benar dari sejumlah besar konten. Pembukti kemudian menggunakan pembelajaran penguatan untuk mengoptimalkan konten yang dihasilkan sehingga tidak hanya benar tetapi juga meyakinkan bagi pemeriksa.

Dalam proses verifikasi, peran pembuktian dan verifikasi saling bergantung.Pembuktian perlu menghasilkan konten yang meyakinkan verifikator, dan verifikator perlu memiliki penilaian yang cukup untuk mengidentifikasi konten yang benar。

Untuk lebih meningkatkan efisiensi, OpenAI telah merancang dua jenis pembuktian yang ditingkatkan berdasarkan ini, Pembukti Bermanfaat dan Pembukti Sneaky.

Tujuan dari pembuktian yang bermanfaat adalah menghasilkan konten yang benar dan persuasif. Ini mengoptimalkan konten yang dihasilkannya sehingga dapat diterima oleh validator.

Pembukti yang licik mencoba menipu pemverifikasi dengan menghasilkan konten yang salah namun sama-sama meyakinkan. Desain ini tidak hanya meningkatkan kesulitan pelatihan, namun juga mengharuskan verifikator memiliki penilaian dan ketahanan yang lebih tinggi.

Saat melatih PVG, setiap putaran pelatihan mencakup optimalisasi verifier dan proofer. Di setiap putaran, verifikator pertama-tama menggunakan pembelajaran yang diawasi untuk memprediksi kebenaran konten, membantu verifikator mempelajari cara mengidentifikasi jawaban yang benar dari sejumlah besar konten. Memungkinkan pembukti untuk mengoptimalkan konten yang dihasilkan melalui pembelajaran penguatan.

Misalnya ketika pengguna menanyakan pertanyaan “Ayah Shauna 5 kali umur Shauna. Shauna saat ini 3 kali umur Aaliyah. Jika Aaliyah berumur 3 tahun, berapa umur ayah Shauna?”

Keluaran GPT-4 berumur 45 tahun.

Model verifikator GPT-3 perlu menentukan usia Alya, kemudian menghitung usia Shauna berdasarkan usia Alya, dan terakhir menghitung usia ayah Shauna berdasarkan usia Shauna. Seluruh proses memerlukan beberapa putaran verifikasi.

Selain itu, selama proses pelatihan, OpenAI juga memperkenalkan metode yang disebut “pelatihan checkability”.

Verifikasi kebenaran penggunaan pembelajaran yang diawasi untuk memprediksi solusi yang diambil sampelnya dari putaran pembuktian sebelumnya dengan melatih model pemverifikasi dan pembukti secara bergantian. Pembuktiannya menggunakan pembelajaran penguatan untuk terus mengoptimalkan berdasarkan penerimaan putaran validator saat ini dan kebenaran solusi.

Kata peneliti , seiring dengan bertambahnya jumlah putaran pelatihan, kesehatan verifikator secara bertahap meningkat, yang ditunjukkan dengan meningkatnya penolakan terhadap solusi yang salah yang dihasilkan oleh para demonstran yang licik. Pada saat yang sama, solusi yang dihasilkan oleh para argumentasi yang membantu menjadi lebih jelas dan mudah dipahami manusia.

Namun, perlu diperhatikan bahwa saat melatih model pemverifikasi, diperlukan sejumlah besar data label yang nyata dan akurat untuk meningkatkan kemampuannya dalam membedakan yang benar dari yang salah. Dengan kata lain, jika model verifikasi yang digunakan bias, konten verifikasi mungkin masih dihasilkan secara ilegal.

Materi artikel ini berasal dari situs dan makalah resmi OpenAI. Jika ada pelanggaran, silakan hubungi kami untuk menghapusnya.