berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Hal-hal cerdas (akun publik:zhidxcom）
menyusunvanila
suntingLi Shuiqing

Keluarga model kecil sumber terbuka Google DeepMind menyambut anggota baru!

Zhidongzhi melaporkan pada 1 Agustus bahwa dini hari tadi, Google DeepMind melakukan open source pada model ringan Gemma 2 2B. Skornya di arena model besar melampaui model dengan parameter lebih besar seperti GPT-3.5 dan Llama 2 70B.

▲Gema 2 2B

Dengan hanya 2 miliar parameter, Gemma 2 2B dapat dijalankan dengan mudah dan cepat di ponsel, PC, dan perangkat terminal lainnya. Menurut pengujian sebenarnya oleh pengembang di Google AI Studio, kecepatan inferensi mencapai 30~40 token/dtk.

▲ Pengembang menguji Gemma 2 2B

Diluncurkan bersamaan dengan Gemma 2 2B adalah Gemma Scope, alat untuk meningkatkan interpretasi model, dan ShieldGemma, model klasifikasi keamanan untuk memfilter konten berbahaya.

Gemma Scope didasarkan pada sparse autoencoder (SAE) untuk memperkuat titik-titik tertentu dalam model dan menggunakan arsitektur JumpReLU untuk mengoptimalkannya, sehingga membantu mengurai informasi padat dan kompleks yang diproses dalam model, memungkinkan peneliti untuk "melihat" model seperti mikroskop bagian dalam.

ShieldGemma dibuat untuk empat area bahaya: perkataan yang mendorong kebencian, pelecehan, konten pornografi, dan konten berbahaya, serta melampaui model tolok ukur seperti GPT-4 dalam uji respons.

Seri model Gemma, yang pertama kali diluncurkan pada bulan Februari tahun ini, adalah model sumber terbuka yang dibuat oleh Google DeepMind berdasarkan pengalaman model Gemini. Pada bulan Juni, Google meluncurkan model open source generasi kedua Gemma 2, termasuk dua ukuran parameter 9B dan 27B. Diantaranya, model 27B dengan cepat menjadi yang terdepan di antara model open source di arena model besar LMSYS.

1. Kalahkan model besar dengan parameter 35 kali lipat, tidak ada masalah dibandingkan Gemma 2

Gemma 2 2B merupakan penyempurnaan dari model yang lebih besar dan merupakan model Gemma 2 ketiga yang diluncurkan Google setelah 27B dan 9B.

Sebagai model ringan dengan hanya 2 miliar parameter, Gemma 2 2B tidak mengorbankan performa demi portabilitas. Dalam pemeringkatan LMSYS Large Model Arena (Chatbot Arena), Gemma 2 2B mengungguli GPT-3.5 dengan skor 1126 poin, serta model Mixtral 8x7B dan Llama 2 70B dengan skala parameter puluhan kali lipat.

▲ Hasil Gemma 2 2B di arena model besar

Beberapa netizen menguji masalah rasio 9,9 dan 9,11 dari Gemma 2 2B yang "terguling" pada banyak model besar, dan Gemma 2 2B dengan cepat memberikan jawaban yang benar.

▲ Jawaban Gemma 2 2B

Kecepatan lari adalah keuntungan besar dari model yang ringan. Seberapa cepat tepatnya? Peneliti pembelajaran mesin Apple, Awni Hannun, menguji Gemma 2 2B pada MLX Swift di iPhone 15 pro miliknya, dan kecepatan inferensinya terlihat sangat cepat.

▲ Kecepatan lari Gemma 2 2B

Setelah pengujian sebenarnya, pengembang Tom Huang mengatakan bahwa kecepatan larinya di Google AI Studio adalah sekitar 30~40 token/s, yang "lebih cepat dari model Apple".

Dalam hal penerapan, Gemma 2 2B menyediakan metode penerapan yang fleksibel dan dapat berjalan secara efisien di berbagai perangkat keras, termasuk perangkat edge, laptop, atau penerapan cloud berdasarkan Vertex AI.

Pengembang dapat mengunduh model bobot Gemma 2 2B dari platform seperti Hugging Face dan Kaggle untuk penelitian dan aplikasi komersial, atau mencoba fungsinya di Google AI Studio.

Alamat sumber terbuka:

https://huggingface.co/google/gemma-2-2b

dua,Buat pengklasifikasi untuk empat jenis konten, dengan tingkat respons yang lebih baik daripada GPT-4

Untuk meningkatkan keamanan dan aksesibilitas model, Google telah meluncurkan ShieldGemma, serangkaian model pengklasifikasi konten aman yang dibangun di atas Gemma 2, yang digunakan untuk memfilter masukan dan keluaran model AI yang merupakan pelengkap model yang ada dalam perangkat AI yang bertanggung jawab dari Google. Tambahan pada rangkaian pengklasifikasi keamanan.

▲ Cara kerja ShieldGemma

ShieldGemma dibuat untuk empat area bahaya: perkataan yang mendorong kebencian, pelecehan, konten pornografi, dan konten berbahaya, serta menyediakan berbagai ukuran model untuk memenuhi kebutuhan yang berbeda, termasuk 2B, 9B, dan 27B. Diantaranya, model parameter 2B cocok untuk tugas klasifikasi online, sedangkan versi 9B dan 27B digunakan untuk memberikan kinerja lebih tinggi untuk aplikasi offline.

Dalam hasil evaluasi kumpulan data eksternal, ShieldGemma melampaui model dasar seperti OpenAI Mod dan GPT-4.

▲ Hasil evaluasi ShieldGemma

Laporan teknis ShieldGemma juga dipublikasikan secara bersamaan, yang menjelaskan metode konstruksi, sumber data, dan efektivitas model. Pada uji respons empat jenis konten berbahaya, tingkat respons ShieldGemma pada tiga skala lebih baik dibandingkan GPT-4.

▲ Tes respons ShieldGemma

Alamat laporan teknis:

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

tiga,"Mikroskop" di dalam model besar untuk menganalisis perilaku model dengan kode nol

Untuk mempelajari prinsip kerja internal model bahasa, Google meluncurkan autoencoder Gemma Scope yang komprehensif dan terbuka. Ia bertindak seperti mikroskop, membantu peneliti "melihat" ke dalam model untuk lebih memahami cara kerjanya.

Gemma Scope memperkuat titik-titik tertentu dalam model menggunakan Sparse Autoencoders (SAEs). SAE ini membantu mengurai informasi padat dan kompleks yang diproses dalam model, mengembangkannya ke dalam bentuk yang lebih mudah dianalisis dan dipahami.

▲ Representasi gaya aktivasi model menggunakan interpretasi SAE

Dengan mempelajari pandangan yang diperluas ini, peneliti dapat memahami bagaimana Gemma 2 mengenali pola, memproses informasi, dan pada akhirnya membuat prediksi, mengeksplorasi cara membangun sistem AI yang lebih mudah dipahami, lebih andal, dan andal.

Sebelumnya, penelitian tentang SAE terutama berfokus pada mempelajari cara kerja lapisan tunggal baik dalam model miniatur maupun model besar. Terobosan Gemma Scope adalah melatih SAE pada setiap lapisan dan sub-lapisan keluaran model Gemma 2. Ini menghasilkan lebih dari 400 SAE dan mempelajari lebih dari 30 juta fitur.

▲Contoh aktivasi fitur penemuan SAE Gemma Scope

Gemma Scope juga menggunakan arsitektur JumpReLU SAE baru untuk pelatihan. Sulit bagi arsitektur SAE asli untuk menyeimbangkan dua tujuan, yaitu mendeteksi fitur mana yang ada dan memperkirakan kekuatannya. Arsitektur JumpReLU dapat mencapai keseimbangan ini dengan lebih mudah, sehingga mengurangi kesalahan secara signifikan.

Gemma Scope telah membuka lebih dari 400 SAE gratis, mencakup semua lapisan Gemma 2 2B dan 9B, dan menyediakan demonstrasi interaktif. Peneliti dapat mempelajari karakteristik SAE dan menganalisis perilaku model tanpa menulis kode.

▲ Demonstrasi interaktif Gemma Scope

Alamat demo:

https://www.neuronpedia.org/gemma-scope

Alamat laporan teknis:

https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

Kesimpulan: GeneratifKecerdasan buatanAngin bertiup menuju model kecil danKecerdasan buatanKeamanan

Sejak pengembangan AI generatif, model tersebut telah beralih dari parameter "volume" dan skala "volume" menjadi "volume" ringan dan keamanan "volume", yang mencerminkan bahwa dalam proses penerapan teknologi, lebih dekat dengan pengguna, lebih rendah biaya, dan lebih mampu memenuhi kebutuhan spesifik.

PC AI dan ponsel AI secara bertahap memasuki kehidupan konsumen. Dalam proses ini, cara "mengemas" model besar ke dalam perangkat terminal yang ringkas sambil memastikan privasi dan keamanan pengguna merupakan masalah mendesak yang perlu dipecahkan oleh produsen AI besar.