notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Prodotto |. Huxiu Think Tank

Autore |. Huang Siyu

Immagine di intestazione |. Cina visiva

Nell’attuale era di trasformazione industriale e di afflusso di nuove forze produttive, l’intelligenza incarnata porta nelle fabbriche e imbarca una serie di tecnologie all’avanguardia, come modelli di grandi dimensioni, modelli di grandi dimensioni multimodali, piccoli modelli visivi/tattili, ecc. in un viaggio pratico nel campo della produzione industriale. Tuttavia, scenari industriali complessi e diversificati pongono gravi sfide all’intelligenza incarnata. Con quale scena dovresti iniziare? Come posso passare liberamente da una scena all'altra? Come ottenere i dati estesi e di alta qualità richiesti per i suoi sistemi intelligenti?

Pertanto, alle 19:00 del 30 luglio 2024, sono stati invitati 502 colleghi online del Think Tank HuxiuYin Zhi, consulente capo della Shanghai Artificial Intelligence Technology Association, Fu Yihui, direttore di Tashan Technology Ecology, e il dottor Zhao He, CTO di Weiyi Intelligent Manufacturing, hanno discusso congiuntamente le applicazioni innovative di modelli di grandi dimensioni nel campo dell'intelligenza incorporata e hanno condiviso casi pratici di applicazione dell'intelligenza incorporata e dei robot umanoidi.

1. Integrazione dell'intelligenza incarnata e grandi modelli e sfide tecniche

I migliori portatori di intelligenza incarnata sono i robot umanoidi, la cui crescita si basa su modelli di grandi dimensioni

La combinazione di grandi modelli e intelligenza incarnata ha raggiunto determinati risultati e ha ampie prospettive. Yin Zhi, consulente capo della Shanghai Artificial Intelligence Technology Association, ha affermato che i modelli di grandi dimensioni possono essere utilizzati come cervelli robotici, con capacità di pianificazione e ragionamento, e possono scomporre gli obiettivi in ​​sotto-obiettivi e richiamare funzioni correlate. Sebbene l'uso attuale sia limitato, la regia ha un grande potenziale.

Il dottor Zhao He, CTO di Weiyi Intelligent Manufacturing, ritiene che negli scenari industriali, a causa della natura del loro lavoro, i robot non umanoidi potrebbero essere più adatti negli scenari di vita, potrebbero essere una forma migliore;

Il modello di grandi dimensioni sovverte il metodo di interazione uomo-computer, consentendo agli esseri umani e alle macchine di comunicare in modi naturali come testo, voce e immagini. La macchina può comprendere le intenzioni umane ed eseguire operazioni. I modelli di grandi dimensioni forniscono un’interazione efficiente, consentendo ai robot di apprendere nuovi compiti e ottenere requisiti specifici e specifiche operative.

Fu Yihui, direttore ecologico di Tashan Technology, concorda sul fatto che i modelli di grandi dimensioni possono potenziare l’intelligenza incorporata. Ha affermato che i robot umanoidi sono i migliori portatori di intelligenza incorporata e la loro crescita dipende dallo sviluppo di modelli di grandi dimensioni. La creazione di robot umanoidi che pensano e si muovono come gli esseri umani non si basa solo su modelli di grandi dimensioni, ma coinvolge anche il deep learning, algoritmi di controllo del movimento e la percezione generale, come la percezione tattile, la percezione visiva e la capacità di comprendere ambienti complessi e ragionamento logico.

L’intelligenza spaziale recentemente menzionata si basa sul consentire ai robot di vedere il mondo, consentendo ai robot di comprendere meglio il mondo, apprendere conoscenze e agire mentre osservano il mondo. Quindi, con questa premessa, ottenere la percezione incarnata real2sim (il processo di applicazione di un modello addestrato in un ambiente di simulazione a un ambiente reale), consentendo al robot di percepire meglio il mondo, è il prerequisito per diventare un robot più flessibile.

Per incorporare modelli di grandi dimensioni nell’intelligenza incorporata è necessario bilanciare il consumo energetico e le entrate

Alcuni spettatori hanno chiesto: "Se un modello di grandi dimensioni è incorporato in un robot intelligente, richiederà supporto hardware aggiuntivo? È necessario riequilibrare prestazioni e consumo energetico?"

Dr. Zhao He pensa che questa sia una buona domanda. Quando si inseriscono robot intelligenti in modelli di grandi dimensioni, è necessario considerare il supporto hardware e l’equilibrio tra prestazioni e consumo energetico. L’intelligenza incarnata in senso lato, compresi gli esseri umani, deve bilanciare il consumo di energia con i benefici ottenuti. Ad esempio, il cervello umano consuma poca energia ma è intelligente. Tuttavia, l’attuale modello di grandi dimensioni consuma potenza di calcolo ed energia durante l’addestramento e l’inferenza, il che non può soddisfare le esigenze dei robot intelligenti.

La direzione di sviluppo futura è: in primo luogo, ridurre significativamente la potenza di calcolo e il consumo energetico di modelli di grandi dimensioni attraverso la tecnologia, in secondo luogo, migliorare l'architettura e il paradigma del modello, in terzo luogo, sviluppare chip speciali, come ASIC, per aumentare la densità di intelligenza; cioè, l'intelligenza sul chip per unità di area. In questa misura, attraverso l'hardening del software, il chip speciale sviluppato viene utilizzato per il ragionamento dei modelli, ecc., in modo che la tecnologia dei modelli di grandi dimensioni possa essere applicata efficacemente ai robot intelligenti incorporati.

I grandi modelli multimodali costituiranno un modulo importante per l’intelligenza incorporata per raggiungere scoperte tecnologiche come il controllo e il processo decisionale.

In termini di tecnologie chiave come il controllo, il processo decisionale e la navigazione dell’intelligenza incorporata, Yin Zhi ritiene che l’attuale problema dei robot guidati da grandi modelli linguistici sia che devono convertire le informazioni in testo e quindi elaborarle una transizione temporanea. In futuro, i robot dovrebbero essere in grado di comprendere l’ambiente di percezione nativa. Non è necessario passare attraverso il linguaggio per prendere decisioni di controllo e navigazione, e ci sarà molta logica nella visione.

In futuro, i modelli di grandi dimensioni potrebbero utilizzare sistemi multimodali per migliorare le capacità di intelligenza, con moduli responsabili di diverse funzioni proprio come il cervello umano. Al momento, potrebbero esserci più piccoli modelli che controllano rispettivamente diverse funzioni. I robot di comando dei modelli di grandi dimensioni sono una forma transitoria. I modelli di grandi dimensioni multimodali sono una tendenza, ma ci vorrà del tempo per migliorare le capacità intelligenti combinando modelli piccoli con modelli di grandi dimensioni Ciò dipende da Nello sviluppo di modelli di grandi dimensioni, mancano ancora dati di modelli di grandi dimensioni nativi multimodali.

Zhao He ha sottolineato che in termini di controllo, l'introduzione dell'asservimento visivo nei robot industriali può aprire il controllo sottostante e i compiti di livello superiore, riducendo notevolmente i costi applicativi in ​​termini di navigazione, la premessa è la percezione, comprese le informazioni multimodali; come il tatto e la temperatura, ma l'efficacia delle informazioni multimodali L'integrazione presenta maggiori sfide tecniche, ma è una direzione di sviluppo positiva. Consentire alle macchine di comprendere le intenzioni umane e i requisiti dei compiti attraverso il dialogo multimodale tra più persone e tangenti flessibili complete costituirà un progresso rivoluzionario. Può anche fornire standard intelligenti di base per robot industriali più intelligenti e ottenere una produzione standardizzata e un adattamento flessibile in loco. .

Fu Yihui è d'accordo con il punto di vista del dottor Zhao He. Ha affermato che quando si forniscono sensori tattili per robot umanoidi, si affronta il problema della fusione di dati tattili e dati visivi, nonché problemi come la percezione ad alta precisione, decisioni complesse. creazione e robustezza. Tra questi, la fusione dei dati tattili e della percezione multimodale è la chiave per superare la percezione incarnata. I modelli multimodali di grandi dimensioni con dati di rilevamento tattile aiutano i robot a interagire in scene complesse Sebbene gli algoritmi tradizionali possano implementare alcune scene dopo un lungo addestramento, esistono ancora scene non addestrate ed è difficile coprire problemi con bassa generalizzazione capacità.

2. Scenari di implementazione ed espressione di valore dell'intelligenza incarnata in ambito industriale

Gli scenari applicativi della produzione industriale iniziano con la risoluzione di tangenti flessibili

I robot industriali sono utilizzati da molto tempo, ma la maggior parte di essi sono automatizzati. Esistono problemi come debug complesso, costi elevati e bassa efficienza. Il nucleo dell'intelligenza è risolvere il problema delle tangenti flessibili. Zhao He ha condiviso una serie di casi di applicazioni industriali specifiche, come nella catena di montaggio, aiutando i clienti a risolvere i problemi legati agli elevati costi di taglio e alle difficoltà di adeguamento delle linee di produzione. Inizialmente, tre ingegneri impiegavano quasi una settimana per adattare la linea di produzione in modo che l'intera linea di produzione funzionasse a pieno regime. Si prevede che l'uso della tecnologia robotica industriale intelligente migliorerà questa situazione.

Nel processo di ispezione della qualità, abbiamo fornito una macchina per l'ispezione della qualità dell'aspetto basata sulla tecnologia AI a una grande fabbrica con più di 3.000 persone, sostituendo con successo più di 2.000 addetti all'ispezione della qualità. Non solo ha ridotto i costi di manodopera, ma anche le prestazioni della macchina non era inferiore a quello del lavoro manuale e poteva funzionare 24 ore su 24 senza sosta.

Nel processo di post-elaborazione dopo il rilevamento dei difetti, al fine di risolvere i problemi di efficienza e qualità causati dalla digitazione cieca dei lavoratori nel processo di riparazione della pressofusione, la tecnologia robotica industriale intelligente viene utilizzata per combinare più robot per formare una serie di operazioni come come rilevamento dei difetti, pianificazione della traiettoria e lucidatura La stazione di lavoro intelligente risolve i limiti del funzionamento manuale e ha un impatto positivo sul flusso di processo di grandi pressofusioni.

L’intelligenza incorporata e le potenti capacità tangenti flessibili miglioreranno l’efficienza della produzione manifatturiera industriale

Il miglioramento dell'efficienza aziendale si riflette in due aspetti: il costo del lavoro e l'efficienza produttiva e operativa. Fu Yihui ha sottolineato che dal punto di vista del costo del lavoro, quando il prezzo dei robot riuscirà a coprire meglio il costo del lavoro, diventerà il nodo della commercializzazione. L'industria dei robot umanoidi potrebbe essere più grande del mercato dell'industria automobilistica. In termini di efficienza produttiva, i robot possono lavorare 24 ore al giorno e la loro efficienza di apprendimento è di gran lunga superiore a quella degli esseri umani. Attraverso un processo decisionale ottimizzato e un controllo preciso, possono migliorare l’efficienza delle operazioni di fabbrica o commerciali.

Zhao He ritiene che il primo punto dolente comune dell'industria manifatturiera siano i problemi umani, come la difficoltà nel reclutare e trattenere lavoratori qualificati. Le aziende sperano di ridurre la loro dipendenza dalla manodopera e ridurre i costi. Weiyi Intelligent Manufacturing ha realizzato una macchina per l'ispezione della qualità estetica basata sulla tecnologia AI per una grande fabbrica con più di 3.000 persone, sostituendo 2.000 addetti all'ispezione della qualità, riducendo i costi di manodopera e le prestazioni della macchina non sono peggiori di quelle umane e può funzionare 24 ore su 24. ore al giorno.

In secondo luogo, il costo della linea di taglio flessibile è elevato, i modelli di produzione, fornitura e marketing sono cambiati e gli ordini di piccoli lotti e multi-lotti sono aumentati. Il modello di produzione tradizionale non può soddisfare la domanda del mercato sono tenuti a disporre di capacità di taglio flessibile, rapide e a basso costo per far fronte alla situazione. Nuovi punti critici nel settore manifatturiero, che consentono alle imprese di migliorare l'efficienza produttiva.

Dai priorità all'implementazione di scenari pericolosi ed entra in scenari più complessi man mano che aumenta la capacità di generalizzazione.

Esistono opinioni diverse sugli scenari in cui i robot intelligenti incorporati dovrebbero essere implementati per primi. Yin Zhi ritiene che l'industria manifatturiera abbia ampiamente utilizzato apparecchiature intelligenti incorporate, come bracci robotici, robot logistici, ecc., e che in futuro i robot di servizio saranno maggiormente utilizzati nei collegamenti di assemblaggio, logistica e magazzinaggio dell'industria manifatturiera diventano sempre più comuni, comprese case, centri commerciali, comunità, ecc. Anche gli scenari, le auto a guida autonoma sono una categoria. Secondo lui dovremmo iniziare con i lavori che gli esseri umani non sono disposti a svolgere, non sono adatti a svolgere o sono pericolosi e noiosi.

Fu Yihui ritiene che non possa essere semplicemente compreso nell'ordine dell'industria, del commercio e della famiglia. I primi ad essere implementati dovrebbero essere quelli con scenari e requisiti di capacità relativamente singoli. Ad esempio, nella linea di produzione automobilistica, nell'installazione e nel cablaggio i cablaggi delle auto si basano ancora sul lavoro manuale e i robot umanoidi devono essere una soluzione tattile e multiuso per la fusione della percezione modale in scenari aziendali, come le farmacie che sostituiscono gli impiegati per prendere le medicine, la sostituzione e il rifornimento dei supermercati, il rifornimento di carburante e le stazioni di servizio. ricarica, ecc., ci sono anche scenari applicativi pericolosi o speciali, che possono sostituire le persone impegnate in lavori pericolosi ed eventualmente seguire l'umanoide. Le capacità di generalizzazione del robot sono migliorate ed entrerà in scenari di collaborazione e interazione domestica più complessi.

Con l'apprendimento rapido dell'acquisizione e le capacità di generalizzazione migliorate, sarà in grado di risolvere molti problemi di scena complessi.

Per quanto riguarda come migliorare la generalizzazione e la capacità generale di varie abilità per ottenere applicazioni in diversi scenari, Fu Yihui è partito dal punto di vista della percezione tattile, ha raccolto dati tattili relativi attraverso scene reali e ha promosso corsi di simulazione per migliorare l'abile funzionamento del robot e la capacità di generalizzazione di presa Negli scenari industriali, di fronte a oggetti afferrati complessi e diversificati, è necessario migliorare la generalizzazione delle capacità tattili o di presa per risolvere il problema.

Zhao He ritiene che attualmente non sia possibile per i robot fare tutto senza apprendere. Negli scenari industriali, la generalizzazione e le capacità generali si riflettono nell’intelligenza di base, ovvero attraverso tecnologie come i modelli di grandi dimensioni, i robot possono apprendere rapidamente nuove competenze questa capacità può essere realizzata, rappresenterà un progresso rivoluzionario per l’applicazione di robot industriali intelligenti nell’industria.

Fu Yihui ritiene che i robot umanoidi abbiano bisogno della capacità di pensare in una catena di pensiero e di avere un certo grado di generalizzazione per soddisfare le esigenze dei robot in vari scenari. Ad esempio, Google RT2 integra LLM e Visual Transformer per integrare rilevamento e controllo. Basandosi sul giudizio dell'ambiente e delle intenzioni, può elaborare strategie di azione ottimali per migliorare la capacità di esecuzione del robot.

3. Esplorazione della raccolta dati e metodi di formazione per l'intelligenza incarnata

Un membro del pubblico ha chiesto come ottenere grandi quantità di dati. Esistono modi innovativi per ottenerli? Zhao He ritiene che lo sviluppo dell'Internet industriale abbia oggettivamente accumulato dati per la nascita di grandi modelli industriali. Nell'attuazione pratica, la raccolta, l'organizzazione, l'automazione e il funzionamento intelligente dei dati dovrebbero essere implementati in prodotti e servizi come punti centrali.

Attualmente non esiste un metodo di formazione maturo e ampiamente accettato per l’intelligenza incarnata. Prendendo come esempio i robot industriali intelligenti, ci si aspetta che i modelli di grandi dimensioni possano comprendere compiti e generare istruzioni di controllo attraverso metodi come la visione video artificiale.

In termini di metodi di addestramento per l’intelligenza incorporata, si tratta più di addestrare l’intelligenza incorporata in un ambiente di simulazione o di utilizzare la simulazione e i dati generati per l’addestramento. Perché l’utilizzo di dati reali per addestrare modelli intelligenti incarnati o robot intelligenti presenta il problema della difficoltà nella raccolta dei dati e del volume di dati insufficiente.

Yin Zhi ha proposto che esistano fornitori di servizi dati professionali di terze parti, come società di annotazione dei dati, che in futuro potrebbero evolversi in formatori di intelligenza artificiale o società di fornitura di servizi. In Cina, i vantaggi in termini di costo del lavoro sono relativamente evidenti e si prevede che si creerà un’industria di dati multimodali e servizi di formazione intelligenti.

Dai parole

Sebbene l’integrazione dell’intelligenza incorporata e dei modelli di grandi dimensioni abbia raggiunto determinati risultati, come ottimizzare ulteriormente l’equilibrio tra consumo energetico e ricavi e realizzare l’applicazione matura di modelli di grandi dimensioni multimodali richiede ancora una ricerca continua. Dalla risoluzione dei problemi chiave della tangente flessibile, al miglioramento delle capacità di generalizzazione per adattarsi ad ambienti industriali complessi e diversificati, alla definizione di metodi di formazione maturi ed efficaci o al pieno sfruttamento dei vantaggi dei servizi dati di terze parti, questi sono tutti fattori che promuovono l'applicazione diffusa dell’intelligenza incarnata in ambito industriale. L’essenziale.

Durante l'evento, i partecipanti online hanno partecipato attivamente a scambi interattivi, tra cui persone di Audi China, NIO, Ideal, Dongfeng, Schneider Electric, Amazon Cloud Technology, Horizon Robotics, Huawei Terminal, Baidu, China Telecom e altre società istituzioni come CICC Capital, Dingjie Software Ventures, China Software Group, Yizhuang State Investment e China Unicom Industrial Internet of Things. Il pubblico e gli ospiti hanno avuto dialoghi approfonditi, scambiato esperienze pratiche, discusso di cooperazione commerciale e concluso con successo questo seminario online tra pari 502.

Per tenere traccia di ulteriori attività pratiche di innovazione digitale e IA, seguici.Think Tank Tiger SniffCompleta la registrazione per ricevere i nostri aggiornamenti sui contenuti e le notifiche degli eventi.

Informazioni su Huxiu Think Tank: Huxiu Think Tank è una nuova organizzazione di servizi di ricerca incentrata sulla digitalizzazione aziendale e sulle pratiche di innovazione dell'intelligenza artificiale. Fornisce rapporti di ricerca approfonditi, selezioni di casi e riunioni online per le parti A e B nel processo di intelligenza industriale. Le seguenti attività e servizi di visita sono forniti per supportare il saggio processo decisionale dei dirigenti aziendali in materia di intelligence e digitalizzazione. I valori fondamentali che forniamo: approfondimenti tempestivi e di alta qualità, comprensione della tecnologia, dell'industria, dei colleghi e degli avversari; fornire un riferimento importante ai decisori nelle decisioni strategiche sulla tecnologia e sui prodotti, sulla pianificazione industriale e sulla selezione delle soluzioni; comprendere le tecnologie all'avanguardia e lo stato di sviluppo delle industrie interessate e le tendenze future