berita

GPT-4o mini mendominasi peringkat dan dapat disempurnakan dalam waktu terbatas, 2 bulan, tanpa biaya!2 juta token pelatihan dikumpulkan secara gratis setiap hari

2024-07-26

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina


Laporan Kebijaksanaan Baru

Editor: Taozi

[Pengantar Kebijaksanaan Baru] Sementara monster Llama 3.1 405B bersumber terbuka, OpenAI kembali mencuri perhatian. Mulai sekarang, 2 juta token pelatihan akan digunakan untuk menyempurnakan model secara gratis setiap hari hingga 23 September.

Pada hari yang sama ketika Llama 3.1 menjadi open source, OpenAI juga dibuka.


GPT-4o mini dapat disempurnakan secara gratis, dan 2 juta token pelatihan dapat digunakan setiap hari selama waktu terbatas 2 bulan (per 23 September).


Para pengembang yang menerima email tersebut bergegas untuk memberi tahu satu sama lain dengan penuh semangat bahwa wol sebesar itu harus dipanen sesegera mungkin.


Di sisi lain, ranking GPT-4o mini di arena model besar LMSYS juga keluar.

Dalam daftar keseluruhan, GPT-4o mini dan GPT-4o berada di posisi pertama.


Altman berkata dengan penuh semangat, "Saya tidak pernah begitu bersemangat dengan evaluasi apa pun. Performa GPT-4o mini sangat mendekati GPT-4o, dan harganya hanya 1/20!"


Pada saat yang sama, dia mengatakan bahwa penyempurnaan GPT-4o mini kini sudah online.


Sungguh tidak terduga bahwa OpenAI dapat merilis model sekuat ini untuk digunakan semua orang secara gratis.

Netizen pernah mengira ini mungkin email phishing paling canggih.


2 juta token per hari, penyetelan gratis mini GPT-4o

Dalam email tersebut, OpenAI mengumumkan bahwa mereka telah secara resmi meluncurkan fungsi penyempurnaan mini GPT-4o untuk membuat model kecil terbaru berperforma lebih baik dalam kasus penggunaan tertentu.

Mulai 23 Juli hingga 23 September, pengembang dapat menggunakan 2 juta token pelatihan gratis setiap hari.


Kelebihannya akan dikenakan token sebesar USD 3 juta.

Setelah 2 bulan penggunaan gratis berakhir, pelatihan penyesuaian juga akan dikenakan biaya US$3 juta per token.


Selain itu, OpenAI memberikan alasan melalui email mengapa semua orang perlu beralih dari GPT-3.5 Turbo ke GPT-4o mini:

- Lebih terjangkau: Biaya token masukan GPT-4o mini 90% lebih rendah dibandingkan GPT-3.5 Turbo, dan biaya token keluaran 80% lebih rendah. Bahkan setelah periode gratis berakhir, biaya pelatihan GPT-4o mini adalah setengah dari biaya pelatihan GPT-3.5 Turbo.


- Konteks yang lebih panjang: Panjang konteks pelatihan GPT-4o mini adalah 65 ribu Token, 4 kali lipat dari GPT-3.5 Turbo, dan panjang konteks inferensi adalah 128 ribu Token, yaitu 8 kali lipat dari GPT-3.5 Turbo.

- Lebih pintar dan lebih mumpuni: GPT-4o mini lebih pintar dari GPT-3.5 Turbo dan mendukung fitur visual (meskipun penyempurnaan saat ini terbatas pada teks).


Terakhir, email tersebut juga menyebutkan bahwa fungsi penyetelan mini GPT-4o akan terbuka untuk pelanggan perusahaan, serta pengembang Tingkat 4 dan Tingkat 5, dan hak akses akan diperluas secara bertahap ke semua tingkat pengguna di masa mendatang.


Bagi yang ingin mencoba langsung, OpenAI telah merilis panduan penyesuaian, silakan lihat:

https://platform.openai.com/docs/guides/fine-tuning/fine-tuning-examples


Beberapa netizen tidak optimis dengan hal ini. Mereka menyimpan data kami untuk melatih dan meningkatkan model AI.


“AKA, berikan aku data pribadimu dan aku akan membebankan sedikit biaya padamu.”


Kasus penggunaan netizen

Netizen yang sudah mendapatkan kualifikasi tersebut tidak sabar untuk memulai pengujian.

Pengembang menyempurnakan gpt-4o mini menggunakan kumpulan data judul bergaya Economist.



Dia kemudian membandingkan kinerja model asli gpt-4o, gpt-4o min, dan model yang disempurnakan dalam menghasilkan berita utama.


Model kecil mendominasi daftar, sebanding dengan GPT-4o

Satu minggu setelah peluncuran GPT-4o mini, hasil pemeringkatan model besar akhirnya keluar.

Total 4K+ suara pengguna telah diterima, dan model mini GPT-4o langsung naik ke daftar teratas, berada di posisi pertama dengan GPT-4o.

Yang terpenting, 20 kali lebih murah!


Ini merupakan kabar baik bagi banyak pengembang, yang dapat membangun aplikasi yang lebih canggih dengan biaya lebih rendah.


Pada subbagian matematika, performa GPT-4o mini mengalami penurunan dengan menempati peringkat ke-9.


Selain itu, dalam evaluasi hard prompt, GPT-4o mini masih mempertahankan performa stabil, nomor dua setelah GPT-4o dan Claude 3.5 Sonnet.


Di bidang coding, GPT-4o mini juga menunjukkan kemampuan yang tangguh.


Banyak orang yang mempertanyakan mengapa GPT-4o mini mendapat peringkat begitu tinggi di Arena.


Penjelasan resminya adalah:

- Chatbot Arena dievaluasi berdasarkan preferensi manusia di berbagai bidang. Setiap orang didorong untuk mengikuti tidak hanya peringkat keseluruhan, tetapi juga peringkat di setiap kategori (misalnya matematika, coding, dll.).

- Evaluasi arena dilakukan secara real time. Setiap orang didorong untuk membandingkan model secara langsung di Arena dan memverifikasi asumsi mereka secara real time.

- Transparansi adalah nilai inti kami; semua kode dan analisis bersifat open source (http://github.com/lm-sys/FastChat). Kami merilis 20% data secara rutin dan menyimpan data sisanya untuk menghindari overfitting dan menjaga integritas tolok ukur.

- Kami akan merilis 20% data pertempuran mini GPT-4o secara acak sesuai dengan kebijakan, dan Anda dapat memeriksa sendiri jawabannya.

Namun netizen lain menilai kemenangan gpt-4o-mini adalah bukti kuat bahwa orang awam tidak begitu pintar.

Dan, untuk pertama kalinya dalam sejarah, AI menjadi cukup pintar untuk membodohi kita. Sedikit gila dan sedikit bersejarah.



Referensi:

https://x.com/moyix/status/1815840634013639086

https://x.com/HamelHusain/status/1815848198927434019

https://x.com/sama/status/1815877987696533897

https://x.com/0xSMW/status/1815869241205350641