penelitian baru akademisi yao qizhi pada model besar telah memecahkan masalah "mana yang lebih besar, 9.11 atau 9.8?"
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
artikel ini dicetak ulang di qubit (qbitai)
penulis: angin baratakademisi yao qizhi memimpin dan meluncurkan kerangka pemikiran baru untuk model besar. "mahkota" cot tidak dapat lagi bertahan.usulkan diagram pemikiran untuk membuat model besar berpikir lebih seperti manusia.tim memberikan dasar matematis untuk proses penalaran ini dan memformalkan dot melalui teori topos untuk memastikan konsistensi logis dan rasionalitasnya.dibandingkan dengan cot, yang mengungkapkan proses penalaran sebagai rangkaian linier, dot dapat menangkap kompleksitas penalaran manusia dengan lebih baik.dibandingkan dengan pengenalan struktur cabang tot dan got, dot tidak perlu bergantung pada mekanisme kontrol eksternal atau kerja sama berbagai model, dan pelatihan serta penerapannya lebih sederhana.rahasianya adalah dot memodelkan inferensi berulang dalam llm dengan membangun grafik asiklik terarah (dag) dalam satu model.dag terdiri dari node yang mewakili proposisi, kritik, perbaikan, dan verifikasi. tepinya mewakili hubungan logis atau ketergantungan di antara mereka.fitur asiklik ini memastikan bahwa proses penalaran tidak terpengaruh oleh ketergantungan melingkar dan dapat lebih mencerminkan derivasi logis yang masuk akal.pertanyaan seperti mana yang lebih besar, 9.11 atau 9.8, dan berapa banyak "r" yang ada di strawberry, semuanya diselesaikan dengan bantuan dot.penelitian ini mendapat banyak perhatian setelah diusulkan.netizen menyatakan bahwa ini adalah jalan yang benar.hentikan, hentikan, hentikan
mari kita lihat secara spesifik seperti apa dot itu.kerangka kerja baru untuk penalaran kompleks dalam model besar
seperti disebutkan sebelumnya, dot memodelkan proses penalaran logis sebagai membangun grafik asiklik terarah (dag) dalam satu llm.tiga peran utama dikelola dalam kerangka kerjanya:pengusul: hasilkan proposisi atau langkah penalaran, tambahkan node baru.
kritik: mengevaluasi proposisi, mengidentifikasi kesalahan, inkonsistensi, atau kesalahan logika, dan menambahkan simpul kritik.
peringkasan: sintesis proposisi terverifikasi ke dalam rantai pemikiran yang koheren, dan lakukan dag jenis topologi secara efektif untuk menghasilkan keluaran penalaran akhir.
ketiga role ini menggunakan token khususproses penalaran dimulai dengan pengusul memperkenalkan proposisi dan menambahkan node ke dag.selanjutnya terserah pada pengulas untuk mengevaluasi, memvalidasi, atau memberikan kritik. jika kritik diberikan, sebuah simpul baru ditambahkan dan sebuah tepi terbentuk antara proposisi dan kritik.berdasarkan kritik tersebut, pengusul menghasilkan proposisi yang disempurnakan dan ditingkatkan, yang direpresentasikan sebagai simpul baru di dag.setelah proposisi yang cukup valid ditetapkan, peringkasan mensintesis alasan-alasan ini dan mengurutkan dag secara topologi untuk menghasilkan rantai pemikiran yang koheren.dengan memaparkan model pada penalaran yang benar dan salah, dot memungkinkan llm belajar dari kesalahannya dan menyempurnakan alasannya seiring berjalannya waktu, seperti cara manusia memecahkan masalah.pendekatan ini tidak hanya menangkap sifat penalaran nonlinier dan berulang, namun juga memberikan umpan balik yang lebih kaya daripada sinyal biner melalui kritik bahasa alami.pelatihan dot melibatkan penggunaan contoh pelatihan yang diformat ke dalam struktur dot, termasuk token khusus peran dan representasi dag. selama penalaran, model tersebut menghasilkan proposisi, kritik, dan ringkasan berdasarkan petunjuk kontekstual dan token peran tertentu.pendekatan ini menyederhanakan penerapan dan menghilangkan kebutuhan akan kolaborasi multi-llm atau mekanisme kontrol eksternal, namun tetap konsisten dengan paradigma pelatihan llm standar untuk memudahkan integrasi ke dalam alur kerja yang ada.penulis juga memberikan landasan matematika yang ketat untuk kerangka dot, dengan memanfaatkanproses penalaran dijelaskan secara formal.dalam kerangka ini, proposisi dimodelkan sebagai sub-objek dari objek terminal dalam topologi, hubungan logis dan langkah-langkah penalaran direpresentasikan sebagai morfisme, dan proses kritik dan perbaikan masing-masing sesuai dengan morfisme pengklasifikasi sub-objek dan morfisme antar proposisi.dengan memperkenalkan kategori prenet, mereka juga berhasil menangkap sifat proses inferensi yang dinamis dan bersamaan.landasan matematis ini tidak hanya memastikan konsistensi logis dan kelengkapan proses penalaran, namun juga menyediakan kerangka konseptual untuk merancang model ai generasi berikutnya yang khusus untuk penalaran.dipimpin oleh yao qizhi dan yuan yang dari universitas tsinghua
makalah ini dipimpin oleh yao qizhi dan yuan yang dari institut informasi interdisipliner tsinghua. penulis pertama makalah ini adalah zhang yifan.zhang yifan lulus dengan gelar sarjana pada tahun 2021perguruan tinggi yuanpei universitas peking, saat ini adalah kandidat doktor di sekolah informasi interdisipliner, universitas tsinghua, belajar di bawah bimbingan asisten profesor yuan yang.arahan penelitian utamanya adalah teori dan algoritma model dasar (model bahasa besar), pembelajaran mandiri, dan kecerdasan buatan yang dapat dipercaya.yuan yang adalah asisten profesor dan pengawas doktoral di sekolah informasi interdisipliner, universitas tsinghua.lulus dari departemen ilmu komputer universitas peking pada tahun 2012; menerima gelar phd di bidang ilmu komputer dari universitas cornell di amerika serikat pada tahun 2018 hingga 2019, ia bekerja sebagai rekan pascadoktoral di school of big data science di massachusetts institute; teknologi.arahan penelitian utamanya adalah perawatan medis cerdas, interpretabilitas ai, dan sistem besar ai. ia telah mencapai banyak prestasi penelitian di bidang teori optimasi non-cembung, teori optimasi jaringan saraf, dan desain mekanisme.yao qizhi adalah akademisi akademi ilmu pengetahuan tiongkok dan direktur institut informasi interdisipliner di universitas tsinghua;penghargaan turing“ilmuwan asia pertama yang memenangkan penghargaan ini sejak didirikan, dan satu-satunya ilmuwan komputer tiongkok yang memenangkan penghargaan ini sejauh ini.profesor yao qizhi mengundurkan diri dari princeton sebagai profesor tetap pada tahun 2004 dan kembali ke tsinghua untuk mengajar; pada tahun 2005, ia mendirikan "kelas yao", kelas eksperimen ilmu komputer untuk mahasiswa sarjana tsinghua pada tahun 2011, ia mendirikan "pusat informasi kuantum tsinghua " dan "institut penelitian informasi interdisipliner"; pada tahun 2019 pada tahun 2008, ia mendirikan kelas kecerdasan buatan untuk mahasiswa sarjana tsinghua, yang disebut sebagai "kelas cerdas".saat ini, institut informasi interdisipliner universitas tsinghua yang dipimpinnya telah lama terkenal. kelas yao dan zhiban keduanya berafiliasi dengan institut informasi interdisipliner.minat penelitian profesor yao qizhi mencakup algoritma,kriptografi、komputasi kuantumdll., adalah pionir dan otoritas internasional di bidang ini.satu hal lagi
sekitar waktu yang sama tahun lalu, akademisi yao qizhi memimpin proposal tersebutpenalaran kumulatif(penalaran kumulatif, cr).dot merupakan pendalaman lebih lanjut dari cr.pada saat itu, cr mengoordinasikan proses berulang yang melibatkan model bahasa besar dengan spesialisasi berbeda, dengan model berbeda yang mengambil peran sebagai pengusul, pemverifikasi, dan pelapor.sebaliknya, dot secara langsung membangun grafik asiklik terarah dalam satu model dan tidak bergantung pada mekanisme kontrol eksternal atau beberapa model, sehingga membuat pelatihan dan penerapan menjadi lebih sederhana.dan di dot, umpan balik kritis yang dihasilkan model berbentuk bahasa alami, bukan hanya memberikan sinyal biner seperti cr. hal ini memungkinkan model menerima penjelasan kesalahan secara mendetail, membantu meningkatkan proposisi dengan lebih efektif.kali ini dot juga memiliki landasan matematika yang kuat, yang memperjelas hubungan antara proses penalaran dot dan logika kategoris, memastikan konsistensi dan keandalan penalaran dalam teori.
