berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

IT House News pada tanggal 23 Agustus, dari media sosial hingga realitas virtual, pembuatan gambar yang dipersonalisasi semakin menarik perhatian karena potensinya dalam berbagai aplikasi. Metode tradisional biasanya memerlukan banyak penyesuaian untuk setiap pengguna, sehingga membatasi efisiensi dan skalabilitas. Oleh karena itu, Perusahaan Meta secara inovatif mengusulkan model AI "Imagine Yourself".

Tantangan metode pembuatan gambar tradisional yang dipersonalisasi

Metode pembuatan gambar yang dipersonalisasi saat ini sering kali mengandalkan adaptasi model untuk setiap pengguna, yang tidak efisien dan kurang umum. Meskipun metode yang lebih baru berupaya mencapai personalisasi tanpa penyesuaian, metode tersebut sering kali berlebihan sehingga menimbulkan efek salin dan tempel.

Bayangkan Diri Anda Inovasi

Model Bayangkan Diri Anda tidak perlu disesuaikan untuk pengguna tertentu dan dapat memenuhi kebutuhan pengguna yang berbeda melalui satu model.

Model ini mengatasi kekurangan metode yang ada, seperti kecenderungan untuk menyalin gambar referensi tanpa perubahan, sehingga membuka jalan bagi proses pembuatan gambar yang lebih fleksibel dan mudah digunakan.

Bayangkan Diri Anda unggul dalam bidang-bidang utama seperti menjaga identitas, kualitas visual, dan penyelarasan tepat waktu, secara signifikan mengungguli model sebelumnya.

Komponen utama model meliputi:

Menghasilkan data berpasangan sintetik untuk mendorong keberagaman;

Arsitektur perhatian paralel sepenuhnya yang mengintegrasikan tiga pembuat enkode teks dan pembuat enkode visual yang dapat dilatih;

dan proses penyempurnaan multi-tahap dari kasar hingga halus

Teknik inovatif ini memungkinkan model menghasilkan gambar beragam dan berkualitas tinggi sambil mempertahankan perlindungan identitas yang kuat dan kemampuan penyelarasan teks.

Bayangkan Diri Anda menggunakan encoder patch CLIP yang dapat dilatih untuk mengekstrak informasi identitas dan mengintegrasikannya dengan perintah teks melalui modul perhatian silang paralel, secara akurat menjaga informasi identitas dan bereaksi terhadap perintah yang kompleks.

Model ini menggunakan adaptor tingkat rendah (LoRA) untuk menyempurnakan bagian arsitektur tertentu saja, sehingga mempertahankan kualitas visual yang tinggi.

Fitur menonjol dari Imagine Yourself adalah pembuatan data SynPairs. Dengan membuat data berpasangan berkualitas tinggi yang mencakup perubahan ekspresi, pose, dan pencahayaan, model dapat belajar lebih efisien dan menghasilkan keluaran yang beragam.

Khususnya, model ini mencapai peningkatan yang signifikan sebesar +27,8% dalam perataan teks dibandingkan dengan model canggih dalam menangani kata-kata isyarat yang kompleks.

Para peneliti mengevaluasi Imagine Yourself secara kuantitatif menggunakan 51 identitas berbeda dan 65 isyarat, menghasilkan 3.315 gambar untuk evaluasi manusia.

Model ini dibandingkan dengan model berbasis adaptor canggih (SOTA) dan model berbasis kontrol, dengan fokus pada metrik seperti daya tarik visual, pelestarian identitas, dan penyelarasan isyarat.

Anotator manusia menilai gambar yang dihasilkan berdasarkan kesamaan identitas, penyelarasan tepat waktu, dan daya tarik visual. Bayangkan Diri Anda mencapai peningkatan yang signifikan sebesar 45,1% dalam penyelarasan isyarat dibandingkan dengan model berbasis adaptor dan peningkatan 30,8% dibandingkan dengan model berbasis kontrol, sekali lagi membuktikan keunggulannya.

Model Imagine Yourself merupakan kemajuan besar dalam pembuatan gambar yang dipersonalisasi. Model ini menghilangkan kebutuhan penyesuaian subjek tertentu dan memperkenalkan komponen inovatif seperti pembuatan data berpasangan sintetik dan arsitektur perhatian paralel, sehingga mengatasi tantangan utama yang dihadapi oleh pendekatan sebelumnya.