berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

it house news pada tanggal 15 september, media teknologi marktechpost menerbitkan postingan blog kemarin (14 september),dilaporkan bahwa nvidia telah menjadikan model ai nemotron-mini-4b-instruct menjadi open source, menandai babak baru dalam inovasi perusahaan di bidang ai.

potensi besar untuk model bahasa kecil

model ai nemotron-mini-4b-instruct dirancang untuk tugas-tugas seperti permainan peran, pengambilan-augmented generation (rag), dan pemanggilan fungsi. ini adalah model bahasa kecil (slm) yang disaring dan dioptimalkan oleh nemotron yang lebih besar -4 15b dapatkan.

nvidia menggunakan teknologi ai canggih seperti pemangkasan, kuantisasi, dan distilasi untuk menjadikan model lebih kecil dan lebih efisien, terutama cocok untuk penerapan di sisi perangkat.

perampingan ini tidak memengaruhi performa model dalam skenario tertentu seperti permainan peran dan pemanggilan fungsi, sehingga menjadikannya pilihan praktis untuk aplikasi yang memerlukan respons cepat sesuai permintaan.

model ini disempurnakan pada model minitron-4b-base dan menggunakan teknologi kompresi llm. salah satu fitur paling signifikan adalah model ini dapat menangani 4096 token jendela konteks dan dapat menghasilkan balasan yang lebih panjang dan lebih koheren.

arsitektur dan spesifikasi teknis

nemotron-mini-4b-instruct dikenal dengan arsitekturnya yang kuat, memastikan efisiensi dan skalabilitas.

ukuran penyematan model (yang menentukan dimensi vektor yang ditransformasikan) adalah 3072, perhatian multi-kepala adalah 32, dan dimensi perantara mlp adalah 9216. saat memproses kumpulan data masukan skala besar, masih dapat direspon dengan akurasi tinggi dan relevansi.

selain itu, model tersebut juga menggunakan teknologi group query attention (gqa) dan rotated position embedding (rope) untuk lebih meningkatkan kemampuannya dalam memproses dan memahami teks.

model ini didasarkan pada arsitektur dekoder transformer dan merupakan model bahasa autoregresif. artinya, ia menghasilkan setiap token berdasarkan token sebelumnya, sehingga ideal untuk tugas-tugas seperti pembuatan dialog, yang mengutamakan aliran dialog yang koheren.

permainan peran dan aplikasi pemanggil fungsi

nemotron-mini-4b-instruct unggul dalam aplikasi permainan peran. dengan kapasitas markup yang sangat besar dan kemampuan pembuatan bahasa yang dioptimalkan, teknologi ini dapat ditanamkan ke dalam asisten virtual, video game, atau lingkungan interaktif lainnya yang memerlukan ai untuk menghasilkan respons penting.

nvidia menyediakan format prompt khusus untuk memastikan bahwa model memberikan hasil terbaik dalam skenario ini, terutama dalam percakapan satu putaran atau multi-putaran.

model ini juga dioptimalkan untuk pemanggilan fungsi, yang semakin penting dalam lingkungan di mana sistem ai harus berinteraksi dengan api atau proses otomatis lainnya. kemampuan untuk menghasilkan respons yang akurat dan fungsional membuat model ini cocok untuk skenario rag di mana model perlu membuat teks dan mengambil serta memberikan informasi dari basis pengetahuan.