Svelati i segreti di FancyTech: l’innovazione dell’algoritmo dietro “riduzione forte” e “iperconvergenza”
2024-08-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Nella recente ondata di cambiamento tecnologico, l’AIGC (contenuti generati dall’intelligenza artificiale) sta diventando uno strumento importante per l’espressione personale e la creazione delle persone. La forza trainante di questa ondata di innovazione tecnologica non sono solo enormi modelli di algoritmi, ma soluzioni profondamente personalizzate che si concentrano sulle esigenze di campi specifici. Negli ultimi due anni, l’AIGC si è sviluppata più velocemente di quanto molti si aspettassero e le sue applicazioni si sono estese dalla generazione di testo all’intera gamma di immagini e video.
Recentemente, "Heart of the Machine" ha condotto un'intervista esclusiva con una startup cinese chiamata FancyTech. L'azienda non solo ha rapidamente ampliato il mercato fornendo prodotti standardizzati per la generazione di contenuti visivi commerciali, ma è stata anche la prima a dimostrare i vantaggi del modello verticale nelle applicazioni pratiche.
"Heart of the Machine" presenta inoltre in dettaglio l'ultimo modello verticale video di FancyTech, DeepVideo, che affronta con successo la sfida di come ripristinare accuratamente e integrare in modo naturale i prodotti nei video, garantendo che i prodotti rimangano invariati in movimento.
Il modello verticale di FancyTech si basa sul framework dell'algoritmo sottostante open source, sovrapposto alla propria annotazione dei dati e riqualificato, e richiede solo poche centinaia di GPU per iterazioni di addestramento continuo per ottenere buoni risultati di generazione. Al contrario, i due fattori “dati di prodotto” e “metodi di formazione” sono più critici per l’effetto finale dell’implementazione.
Basandosi sull'accumulo di una grande quantità di dati di addestramento 3D, FancyTech ha introdotto l'idea dell'intelligenza spaziale per guidare la generazione di contenuti 2D del modello. In termini di generazione del contenuto dell'immagine, il team ha proposto un "dispositivo multimodale" per garantire il restauro dei beni e garantire la naturale integrazione dei beni e dello sfondo attraverso una speciale raccolta di dati. In termini di generazione di contenuti video, il team ha ricostruito i collegamenti sottostanti tra generazione video, struttura di progettazione direzionale e ingegneria dei dati per generare video incentrati sui prodotti.
Inoltre, "Heart of the Machine" rivela in modo approfondito come FancyTech applica le idee della ricerca sull'intelligenza spaziale ai modelli di generazione visiva. A differenza dei modelli generativi tradizionali, l’intelligenza spaziale analizza grandi quantità di dati dei sensori ed esegue una calibrazione precisa, consentendo al modello di percepire e comprendere il mondo reale.
FancyTech utilizza la scansione lidar invece delle tradizionali riprese in studio e ha accumulato una grande quantità di dati 3D di alta qualità. Questi dati vengono combinati con dati 2D per fungere da dati di addestramento del modello, migliorando notevolmente la comprensione del mondo reale da parte del modello.
Per l'impegnativo compito di modellare gli effetti di luce e ombra nella generazione di contenuti visivi, FancyTech ha utilizzato più luci con luminosità e temperatura di colore regolabili in ciascun ambiente per raccogliere quanti più dati naturali di luce e ombra possibili per migliorare la stratificazione spaziale delle immagini generate.
Questa raccolta di dati ad alta intensità simula l'illuminazione di scene di ripresa reali, rendendola più in linea con le caratteristiche delle scene di e-commerce. Combinando l'accumulo di dati 3D di alta qualità, FancyTech ha apportato una serie di innovazioni alla struttura degli algoritmi, combinando organicamente algoritmi spaziali con algoritmi di immagini e video, consentendo al modello di comprendere meglio l'interazione tra gli oggetti principali e l'ambiente.
L’esplorazione della commercializzazione nel campo dell’AIGC non si è mai fermata. Sebbene vi sia consenso, esistono anche diverse direzioni di sviluppo. "Heart of the Machine" ha rivelato nell'articolo l'innovazione dell'algoritmo di FancyTech dietro la "riduzione forte" e l'"iperfusione".
Il "generatore di funzionalità multimodali" di FancyTech estrae le caratteristiche del prodotto in più dimensioni e quindi utilizza queste funzionalità per generare immagini che si fondono con la scena. L'estrazione delle caratteristiche è divisa in caratteristiche globali e caratteristiche locali: le caratteristiche globali includono elementi di base come il contorno e il colore del prodotto, che vengono estratti utilizzando codificatori VAE focalizzati sui dettagli del prodotto e vengono estratti tramite reti neurali a grafo. Questo metodo può catturare in dettaglio le caratteristiche interne del prodotto, la relazione tra i dettagli e i pixel chiave, migliorando così la precisione del ripristino dei dettagli del prodotto.
Sulla strada della commercializzazione, sia che si adotti un modello generale o un modello verticale, l’obiettivo finale è raggiungere il successo commerciale. FancyTech ha sfruttato la sua ricchezza di dati unici e competenze nel settore per ottenere un ampio riconoscimento nei mercati nazionali ed esteri e ha stabilito rapporti di cooperazione con partner internazionali come Samsung, LG e la piattaforma di e-commerce Lazada del Sud-est asiatico negli Stati Uniti, che ha acquisito; Kate Somerville e Favorito da marchi locali come Solawave in Europa, ha vinto l'LVMH Innovation Award e vanta una stretta collaborazione con i clienti europei;
Inoltre, FancyTech fornisce anche funzioni di pubblicazione automatica full-link e feedback dei dati di brevi video basati sull'intelligenza artificiale, guidando in modo efficace la continua crescita delle vendite dei prodotti.
L’applicazione di successo del modello verticale non solo promuove lo sviluppo del mercato commerciale, ma rende anche più facile per il grande pubblico utilizzare la tecnologia AIGC per migliorare la produttività.
Con la diffusione della tecnologia, quasi tutti possono ora girare video, registrare musica e condividere le proprie creazioni con il mondo attraverso i propri telefoni cellulari. Attendiamo con ansia un futuro in cui la tecnologia AIGC scatenerà ancora una volta la creatività personale, consentendo alle persone comuni di varcare facilmente le soglie professionali e trasformare le idee in realtà, promuovendo così aumenti di produttività in tutti i ceti sociali e dando vita a industrie emergenti.
Text/Lin Ke che si concentra sull'intelligenza artificiale
