berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

penulis｜sukhoi

editor｜wang bo

dengan keluarnya para eksekutif dan apple menarik diri dari negosiasi pendanaan, tidak diragukan lagi ini adalah minggu yang penuh gejolak bagi openai. namun openai masih bersikeras meyakinkan pengembang untuk membangun aplikasi menggunakan model ai mereka.

pada tanggal 1 oktober, waktu setempat di amerika serikat, openai mengadakan devday di san francisco. berbeda dengan acara akbar tahun lalu, acara tahun ini lebih sederhana dan dijadikan roadshow bagi para pengembang.

kali ini, openai tidak meluncurkan produk besar, namun sedang mengerjakan produk yang sudah adaaialat danapiperangkat ini telah ditingkatkan secara bertahap.

mereka meluncurkan empat inovasi:penyempurnaan penglihatan, waktu nyataapi(api realtime), distilasi model, dan caching cepat.

misalnya, versi beta publik dari api real-time memungkinkan pengembang membuat aplikasi yang dapat dengan cepat menghasilkan respons suara ai. teknologi baru ini tidak hanya merespons dengan cepat, tetapi juga menyediakan enam opsi suara yang berbeda. semua suara tersebut dikembangkan oleh openai sendiri, menghindari masalah hak cipta pihak ketiga. api ini tidak "menyalin" mode suara lanjutan chatgpt, tetapi fungsinya pada dasarnya serupa.

romain huet, direktur pengalaman pengembang openai, juga mendemonstrasikan cara menggunakan o1 untuk membuat aplikasi iphone ios dengan prompt dalam waktu sekitar 30 detik.

yute mendemonstrasikan pembuatan aplikasi iphone ios. kredit gambar: x oleh romain huet

dalam dua tahun terakhir, openai telah mengurangi biaya bagi pengembang untuk mengakses api-nya sebesar 99% sebagai respons terhadap tekanan pasar dari pesaing seperti meta dan google. dan dari konteks alat baru ini, kita dapat mengetahui,strategi openai lebih mengutamakan penguatan ekosistem pengembangnya daripada bersaing secara langsung dalam aplikasi pengguna akhir.

sebelum acara, chief product officer openai kevin weil menyebutkan bahwa chief technology officer mira murati dan chief research officer bob mcgrewpengunduran diri tidak akan mempengaruhi perkembangan jangka panjang perusahaan.dia mengatakan bahwa meskipun "sering terjadi pergantian personel", openai masih dapat "mempertahankan momentum pembangunan."

ketika kelompok teknologi seperti google dan apple berlomba untuk memperkenalkan agen kecerdasan buatan kepada konsumen,openai berpikiraiasisten akan "menjadi mainstream" tahun depan.kemampuan asisten ai, termasuk melakukan penalaran dan menyelesaikan tugas-tugas kompleks, telah menjadi medan pertempuran terkini bagi perusahaan-perusahaan teknologi, masing-masing perusahaan berharap dapat memanfaatkan teknologi yang berkembang pesat ini untuk mengembangkan aliran pendapatan.

“metode interaksi ai diharapkan dapat mencakup semua cara manusia berinteraksi,” kata weir, “perkembangan sistem agen akan memungkinkan interaksi ini.” metode di dalamnya, baik itu komunikasi verbal, ekspresi emosi atau komunikasi non-verbal, dll., menjadikan interaksi antara manusia dan ai sealami dan semulus mungkin.

selain openai, perusahaan lain seperti microsoft, salesforce, dan workday juga menempatkan kemampuan agen sebagai inti dari rencana ai mereka, sementara google dan meta juga menyatakan bahwa mengintegrasikan model ai ke dalam produk mereka adalah area fokus utama bagi mereka.

tahun lalu, openai merilis "api asisten" untuk memungkinkan pengembang membangun agen menggunakan teknologinya. namun mereka juga mengungkapkan bahwa rencana tersebut terhambat oleh terbatasnya fungsi model awal.

weill menyebutkan bahwa peningkatan pemikiran dan penalaran yang diberikan oleh model terbaru openai akan tercermin dalam produknya, seperti chatgpt, dan pada startup dan pengembang yang membangun aplikasi menggunakan api-nya, namun tidak mengatakan apakah mereka akan segera mengembangkannya sendiri. agen ai.

openai mendemonstrasikan percakapan langsung dengan sistem ai yang bertugas membantu menemukan dan membeli produk yang tersedia secara lokal. misalnya saja jika anda membeli stroberi, maka ai akan memanggil pedagang tersebut untuk melakukan pemesanan sesuai instruksi pengguna.

demonstrasi ai membeli stroberi berdasarkan petunjuk. sumber gambar: ken collins 'x

openai menekankan bahwa siapa pun yang menggunakan teknologi ini harus menjelaskan dengan jelas bahwa teknologi tersebut adalah ai, bukan manusia, dan teknologi ini hanya memberi pengembang pilihan preset yang terbatas, bukan kemampuan untuk menciptakan suara baru.

“jika kita melakukannya dengan benar, kita akan memiliki lebih banyak waktu untuk fokus pada hal-hal penting dan lebih sedikit waktu untuk menatap ponsel kita,” kata ware.

1. tip caching: penyelamat anggaran pengembang

fitur "hint cache" adalah salah satu peluncuran terpenting acara ini dan digunakan untuk mengurangi biaya dan latensi bagi pengembang.

banyak pengembang yang membangun aplikasi ai menggunakan kembali konteks yang sama di beberapa panggilan api, seperti saat mengedit basis kode atau melakukan percakapan panjang dan multi-putaran dengan chatbot. cache petunjuk secara otomatis menerapkan diskon 50% pada token masukan yang paling baru diproses oleh model dengan menggunakan kembali token masukan yang paling baru dilihat.

token masukan yang disimpan dalam cache dapat menghemat hingga 50% dibandingkan dengan token yang tidak di-cache di berbagai model gpt. sumber gambar: openai

ketersediaan dan harga cache petunjuk mulai hari ini, cache petunjuk akan secara otomatis berlaku untuk versi terbaru gpt-4o, gpt-4o mini, o1-preview, dan o1-mini, serta versi yang disempurnakan dari model-model ini. tip yang di-cache memberikan diskon dibandingkan dengan tip yang tidak di-cache.

panggilan api ke model yang didukung akan secara otomatis mendapatkan manfaat dari cache cepat, untuk permintaan yang lebih panjang dari 1024 token. awalan petunjuk terpanjang yang dihitung sebelum cache api, dimulai dari tanda 1024 dan kelipatan 128 tanda. jika pengguna sering menggunakan petunjuk dengan awalan umum, openai akan secara otomatis menerapkan diskon cache petunjuk tanpa pengguna perlu melakukan perubahan apa pun pada integrasi api.

cache biasanya dibersihkan setelah 5 hingga 10 menit tidak ada aktivitas, dan selalu dihapus dalam waktu satu jam setelah penggunaan terakhir cache. seperti semua layanan api, tip caching tunduk pada komitmen privasi perusahaan opai. cache tip tidak dibagikan antar organisasi.

pengurangan biaya yang signifikan memberikan peluang bagi berbagai perusahaan untuk mengembangkan aplikasi baru yang sebelumnya terlalu mahal untuk diterapkan.

olivier godement, pemimpin produk platform openai, berbicara pada konferensi pers kecil di kantor pusat openai di san francisco: "kami sangat sibuk. dua tahun lalu gpt-3 memimpin teknologi di kelasnya, namun sekarang kami telah mencapai hampir 1.000- pengurangan biaya terkait sebanyak kali lipat.” ia berkata dengan bangga bahwa ia tidak dapat menemukan teknologi lain yang dapat mencapai pengurangan biaya sebesar ini hanya dalam waktu dua tahun.

2. penyempurnaan visual: garis depan baru ai visual

pengumuman besar lainnya adalah pengenalan kemampuan penyesuaian visual dalam model bahasa skala besar terbaru openai, gpt-4o. pengembang tidak hanya dapat menyempurnakan teks tetapi juga gambar, yang dapat mengubah bidang-bidang seperti mobil tanpa pengemudi, pencitraan medis, dan kemampuan pencarian visual.

sejak diperkenalkannya penyesuaian teks, ratusan ribu pengembang telah memanfaatkan kumpulan data hanya teks untuk mengoptimalkan model guna meningkatkan kinerja pada tugas tertentu. namun dalam banyak kasus, penyesuaian teks saja tidak dapat memenuhi semua kebutuhan. melalui penyempurnaan visual, pengembang dapat mengoptimalkan model gpt-4o hanya dengan mengunggah setidaknya 100 gambar untuk meningkatkan kinerjanya dalam tugas penglihatan, terutama saat memproses data teks dan gambar dalam jumlah besar.

grab, perusahaan pengantaran makanan dan berbagi perjalanan terkemuka di asia tenggara, telah memanfaatkan teknologi ini untuk meningkatkan layanan pemetaannya, menurut openai. hanya dengan menggunakan 100 contoh, grab meningkatkan akurasi penghitungan jalur sebesar 20% dan akurasi lokasi rambu batas kecepatan sebesar 13%.

contoh tanda batas kecepatan yang berhasil ditandai dengan penyetelan visual model gpt-4o. sumber gambar: openai

automat menggunakan penyesuaian visual untuk melatih gpt-4o mengenali elemen ui di layar, berdasarkan kumpulan data tangkapan layar, sehingga meningkatkan tingkat keberhasilan alat otomatisasinya. dengan cara ini, tingkat keberhasilan agen robot automat meningkat dari 16,60% menjadi 61,67%.

robot desktop berhasil mengidentifikasi pusat elemen ui melalui penyesuaian visual menggunakan tangkapan layar situs web, sumber: openai

penerapan penyesuaian visual di dunia nyata menunjukkan kemungkinan penyesuaian visual untuk meningkatkan layanan ai secara signifikan di berbagai industri menggunakan sejumlah kecil data pelatihan visual.

fitur penyempurnaan visual kini tersedia untuk semua pengguna berbayar dan mendukung model gpt-4o terbaru. pengembang dapat memanfaatkan kemampuan ini untuk memperluas kumpulan data pelatihan yang ada untuk menyempurnakan gambar. selain itu, openai menawarkan 1 juta token pelatihan gratis per hari hingga 31 oktober 2024. biaya untuk pelatihan penyesuaian dan inferensi akan disesuaikan kemudian.

3. api real-time: menjembatani kesenjangan antara ai percakapan

api real-time saat ini masih dalam versi beta publik. hal ini memungkinkan pengembang untuk menciptakan pengalaman multi-modal dengan latensi rendah, terutama dalam aplikasi ucapan-ke-ucapan. ini berarti pengembang dapat mulai menambahkan kontrol suara chatgpt ke aplikasi mereka.

untuk menggambarkan potensi api, openai mendemonstrasikan versi terbaru dari wanderlust, sebuah aplikasi perencanaan perjalanan yang ditampilkan pada konferensi tahun lalu.

dengan bantuan api real-time, pengguna dapat berbicara langsung dengan aplikasi dan merencanakan perjalanan mereka dengan cara percakapan yang alami. sistem ini bahkan memungkinkan interupsi saat berbicara, meniru percakapan manusia.

healthify adalah aplikasi pelatihan nutrisi dan kebugaran yang menggunakan api waktu nyata untuk memungkinkan percakapan alami dengan ai. sumber gambar: openai

meskipun perencanaan perjalanan hanyalah salah satu contohnya, api real-time membuka berbagai kemungkinan untuk aplikasi suara di berbagai industri. dari layanan pelanggan hingga alat pendidikan dan aksesibilitas, pengembang kini memiliki sumber daya baru yang kuat untuk menciptakan pengalaman yang didukung ai yang lebih intuitif dan responsif.

“setiap kali kami merancang suatu produk, pada dasarnya kami memikirkan startup dan perusahaan pada saat yang sama,” jelas goldment. “jadi dalam fase alfa, kami memiliki banyak perusahaan yang menggunakan api, serta model baru untuk produk baru.”

api real-time pada dasarnya menyederhanakan proses pembuatan asisten suara dan alat ai percakapan lainnya, sehingga menghilangkan kebutuhan untuk menggabungkan beberapa model untuk transkripsi, inferensi, dan konversi text-to-speech.

pengguna awal seperti aplikasi pelatihan nutrisi dan kebugaran healthify dan platform pembelajaran bahasa speak telah mengintegrasikan api real-time ke dalam produk mereka. api mempunyai potensi untuk menciptakan pengalaman pengguna yang lebih alami dan menarik di berbagai bidang mulai dari layanan kesehatan hingga pendidikan.

struktur harga api real-time, meskipun tidak murah ($0,06 per menit input audio, $0,24 per menit output audio), masih mewakili proposisi nilai yang signifikan bagi pengembang yang ingin membuat aplikasi berbasis suara.

4. distilasi model: menuju ai yang lebih mudah diakses

mungkin pengumuman yang paling transformatif dalam hal ini adalah diperkenalkannya model distilasi.

alur kerja terintegrasinya memungkinkan pengembang menggunakan keluaran model lanjutan seperti o1-preview dan gpt-4o untuk meningkatkan kinerja model yang lebih efisien seperti gpt-4o mini. perusahaan kecil juga dapat menggunakan fitur serupa pada model canggih tanpa khawatir akan menanggung biaya komputasi.

demo penyempurnaan, sumber: openai

penyulingan model mengatasi kesenjangan yang sudah lama ada di industri ai antara sistem mutakhir dan intensif sumber daya dan sistem yang lebih mudah diakses tetapi kurang bertenaga.

katakanlah sebuah startup teknologi medis kecil sedang mengembangkan alat diagnostik ai untuk klinik pedesaan. dengan menggunakan distilasi model, tim dapat melatih model kecil yang dapat dijalankan pada laptop atau tablet standar dan menangkap sebagian besar kemampuan diagnosis model yang lebih besar .

hal ini dapat menghadirkan kemampuan ai yang canggih di wilayah dengan sumber daya terbatas untuk meningkatkan hasil layanan kesehatan di wilayah yang kurang terlayani.

tidak sulit untuk melihat dari pembaruan ini bahwa openai telah membuat perubahan strategis yang penting - lebih fokus pada pengembangan ekosistem daripada sekadar mengejar peluncuran produk yang menarik perhatian, meskipun strateginya mungkin tidak ditujukan langsung kepada publik seperti produknya. diluncurkan.

dibandingkan dengan hari pengembang yang menarik pada tahun 2023, yang meluncurkan toko gpt dan alat gpt khusus, acara tahun ini jauh lebih sederhana. perubahan yang cepat di bidang ai, ditambah dengan kemajuan signifikan dari pesaing dan meningkatnya kekhawatiran tentang ketersediaan data pelatihan, telah mendorong openai untuk lebih fokus pada penyempurnaan alat yang ada dan meningkatkan kemampuan pengembang untuk mengatasi perubahan ini.

dengan meningkatkan efisiensi model dan mengurangi biaya, openai berharap dapat mempertahankan keunggulannya dalam persaingan yang ketat dan mengatasi masalah intensitas sumber daya dan dampak lingkungan. keberhasilan openai akan sangat bergantung pada kemampuannya dalam mengembangkan ekosistem pengembang yang aktif secara efektif.

referensi:

《memperkenalkan api waktu nyata》,openai

《memperkenalkan visi pada api penyempurnaan》,openai

《meminta caching di api》,openai

《distilasi model dalam api》 openai

《openai's devday 2024: 4 pembaruan besar yang akan membuat ai lebih mudah diakses dan terjangkau》，venturebeat

《devday openai menghadirkan realtime api dan suguhan lainnya untuk pengembang aplikasi ai》，techcrunch

(sumber gambar sampul: openai)