notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Testo丨Anqi Li

Redattore丨Li Qin

“O abbracciate l’approccio end-to-end oppure abbandonate il settore della guida intelligente nel giro di pochi anni”.

Dopo essere entrato nel settore della guida intelligente per diversi anni, l'ingegnere della guida intelligente Qin Feng (pseudonimo) si è già adattato al ritmo feroce dell'involuzione nel settore della guida intelligente. Ma quando arriverà la nuova tecnologia "end-to-end large model", ritiene che la prima persona ad essere colpita potrebbe non essere il conducente umano, ma lui stesso come ingegnere.

Questo tipo di ansia non è esclusivo di Qin Feng. Molti ingegneri della guida intelligente hanno detto a 36Kr che per apprendere le nuove tecnologie, leggevano gli ultimi documenti del settore durante il lavoro straordinario, andavano a Bilibili per frequentare le lezioni e alcuni addirittura iniziavano a imparare dai libri di testo delle scuole di specializzazione.

Il "modello di grandi dimensioni end-to-end" è l'ultima bomba tecnologica nel settore della guida intelligente quest'anno.

Nel gennaio di quest'anno, Tesla ha lanciato ufficialmente la versione di prova dell'FSD (pacchetto software di guida autonoma) v12 per gli utenti ordinari. Questa versione adotta una soluzione di rete end-to-end e molti utenti affermano che l'esperienza è molto più user-friendly rispetto alla precedente versione v11.

Musk una volta introdusse la funzionalità end-to-end, chiamandola “input finale dell’immagine, output finale del controllo”. Sebbene molti addetti ai lavori del settore abbiano espresso a 36Kr che non credono che la soluzione end-to-end di Tesla sia così radicale e magica a livello pratico, la soluzione end-to-end continua a spingere i concorrenti nazionali come il miele. Gli operatori nazionali gradualmente credono che, guidati da modelli di grandi dimensioni, grande potenza di calcolo e enormi quantità di dati, i sistemi di intelligenza artificiale possano guidare come gli esseri umani.

Percependo la nuova tendenza tecnologica, le case automobilistiche nazionali e le principali aziende di guida intelligente sono già intervenute. Operatori leader come Huawei, NIO e BYD hanno investito team e risorse per promuovere soluzioni end-to-end; due case automobilistiche, Ideal e NIO, hanno anche creato dipartimenti dedicati ai modelli end-to-end su larga scala per accelerare l’implementazione della tecnologia .

Anche la competizione per i talenti di fascia alta sta aumentando, apertamente e segretamente. Quando la prima automobile è stata lanciata sul mercato, per stare al passo con i progressi della guida intelligente, Xiaomi ha assunto l’ex CTO di Tucson China Wang Naiyan per unirsi all’azienda. Alcune persone nel settore della guida intelligente hanno detto a 36Kr che Huawei Smart Driving utilizza anche brevetti rilevanti per ancorare talenti e condurre attività di mining mirate.

Il nuovo piano sta infatti infiammando il mercato interno. Ma l’altro lato della medaglia è che l’end-to-end fa molto affidamento sull’implementazione basata sui dati piuttosto che sull’impilamento manuale di un gran numero di ingegneri. La dimensione del team di Tesla di circa 300 persone viene utilizzata come modello e diffusa tra i principali attori.

Tuttavia, la realtà del settore è che gli attuali team di guida intelligente composti da attori leader hanno quasi mille talenti. BYD, un'affermata azienda automobilistica che sta recuperando terreno con la guida intelligente, ha un team software di 3.000 persone e il team di guida intelligente di Huawei non è da meno. Quando il mercato è buono, gli ingegneri possono generalmente ottenere pacchetti salariali con uno stipendio annuo di milioni.

Tuttavia, molti ingegneri di guida intelligente ritengono che, se l’effetto della soluzione end-to-end verrà ulteriormente verificato, i licenziamenti nei team di guida intelligente delle case automobilistiche saranno un evento molto probabile.

"Non c'è bisogno di 200-300 persone", ha detto con fermezza a 36 Krypton un'ex spina dorsale della guida intelligente per una nuova azienda automobilistica. Anche i neolaureati con un background di deep learning possono avere un vantaggio rispetto ad alcuni ingegneri di guida intelligenti che entrano in progetti end-to-end.

Alcuni cacciatori di teste intelligenti hanno anche la sensazione che il settore sia pieno di talenti: i team di guida intelligenti delle case automobilistiche non rilasciano più nuove posizioni e il personale inizia a essere snellito. “Molti HC in giro sono posizioni zombie”. da cacciatore di teste, ha cambiato strada e si è dedicato al reclutamento di talenti per aziende di robotica.

L'ingegnere è bloccato fuori dalla porta

L'ingegnere della guida intelligente Tian Wei (pseudonimo) ha detto a 36Kr che in questa nuova rivoluzione tecnologica, gli ingegneri del modulo di pianificazione e controllo saranno maggiormente colpiti rispetto al modulo di percezione e al modulo di previsione.

Ciò è dovuto principalmente al fatto che la soluzione end-to-end è significativamente diversa dalla tradizionale soluzione di guida intelligente. Le soluzioni tradizionali sono suddivise in più moduli come percezione, posizionamento, mappa, previsione e controllo della pianificazione. L'implementazione delle funzioni del modulo è fondamentalmente guidata dai codici degli ingegneri. Il personale dei due principali dipartimenti di percezione e pianificazione e controllo spesso rappresenta la maggioranza del team di guida intelligente.

Ma la caratteristica della soluzione end-to-end è che passa dall’essere guidata dal codice degli ingegneri all’essere guidata dai dati. Il modo più ideale è inserire immagini nel sistema e il sistema può emettere direttamente il controllo del veicolo e i collegamenti intermedi sono completati dalla rete neurale AI.

A giudicare dai progressi dei principali attori nazionali, dopo l’introduzione della soluzione end-to-end, molteplici moduli della soluzione tradizionale vengono trasformati attraverso le reti neurali AI e integrati in due grandi reti: un ampio modello di percezione e un ampio modello di previsione. e modello decisionale. “Molte soluzioni attuali si basano su ampi modelli di percezione e sono collegati a un ampio modello di pianificazione predittiva.”

Un'ulteriore soluzione integrerà percezione, previsione, processo decisionale e pianificazione, che l'industria chiama "One Model".

Il nuovo percorso tecnico presenta anche un nuovo profilo di talento per i team di guida intelligenti delle case automobilistiche.

Una persona alla guida intelligente ha detto a 36Kr che il team end-to-end richiede meno persone, ma i requisiti di soglia del talento sono diventati più alti. Il modello di grandi dimensioni in sé richiede che il team abbia un forte background di deep learning. “Nella fase di costruzione del progetto, richiede anche forti talenti infrastrutturali, una profonda comprensione di ogni modulo di percezione, pianificazione e controllo e una comprensione dei diversi aspetti. supporto per piattaforme di chip computing, diversi quadri di ragionamento AI, ecc.

Tuttavia, il numero delle persone responsabili della costruzione del modello e della formazione rappresenta solo una piccola parte. "Forse il 90% del team fornisce dati end-to-end, nonché supporto per la catena di strumenti a circuito chiuso, ecc."

"Il grande modello stesso è una squadra molto capace", ha detto una persona saggia. Questo è il motivo per cui le aziende tecnologiche di intelligenza artificiale come OpenAI contavano solo 200-300 persone all’inizio, ma sono state in grado di lanciare il grande modello linguistico ChatGPT e cambiare il processo globale di intelligenza artificiale.

Per gli ingegneri, anche l’impatto della tecnologia end-to-end varia.

Un esperto di guida intelligente ha detto a 36Kr che tra i due moduli di percezione e controllo, il modello di percezione ampia si basava originariamente sulla tecnologia di deep learning. Sebbene il percorso di ispezione visiva si sia spostato dalla precedente rete neurale convoluzionale della CNN al BEV basato su Transformer, l’impatto sugli ingegneri non è stato grande.

Ma per gli ingegneri regolatori, se vogliono partecipare end-to-end, devono quasi cambiare nuovamente traccia. Un esperto di guida intelligente ha detto a 36Kr che gli ingegneri tradizionali di regolamentazione e controllo si concentrano principalmente su diverse direzioni: previsione del percorso, ottimizzazione del percorso, post-elaborazione delle regole e controllo del veicolo. "Sono tutti argomenti molto suddivisi e sostanzialmente irrilevanti. Ad eccezione del modulo di previsione del percorso, gli ingegneri in altre direzioni sostanzialmente non hanno un background di deep learning."

L’ingegnere di guida intelligente Tian Wei ha detto a 36Kr che se i regolatori vogliono passare all’end-to-end, una direzione è l’addestramento del modello stesso, ma ciò richiede un forte background di deep learning. "È possibile che i neolaureati che studiano il deep learning comprendano i modelli meglio di te."

In secondo luogo, è l'estrazione e l'elaborazione dei dati a fornire nutrimento dei dati end-to-end. "Ma se l'infrastruttura della catena di strumenti viene completata e la struttura del modello viene stabilizzata, le persone potrebbero non essere più necessarie." Infine, c'è la post-elaborazione del modello. La traiettoria prodotta dal modello di grandi dimensioni end-to-end non è affidabile e richiede ancora un piccolo numero di ingegneri per scrivere. Le regole sono chiare.

Anche gli ingegneri sono preoccupati per questo. "Da un lato, il modello di grandi dimensioni end-to-end in sé non richiede così tante persone. D'altro canto, tutti vogliono fare end-to-end, ma l'attività di produzione di massa dell'azienda ha bisogno di persone che la gestiscano."

Anche un dipendente di Zhijia era sconvolto per aver perso l'opportunità di unirsi al team di progetto end-to-end a causa dell'attuale progetto di produzione di massa dell'azienda. Ma è anche molto coinvolto: anche se entra nella soluzione end-to-end, è per supportare la nuova soluzione, ma questa non è la posizione centrale del grande modello in sé;

E se rimani nella tua attuale posizione nel progetto di produzione di massa, puoi accumulare un'esperienza completa nei progetti di produzione di massa di guida intelligente, che nei prossimi anni potrà anche essere trasferita alle case automobilistiche tradizionali.

Ma arriverà un altro pericolo: una volta che la soluzione end-to-end sarà diventata popolare in tutto il settore, anche lo stack tecnologico accumulato per molti anni correrà il rischio di essere eliminato in pochi anni. “Potrei dover lasciare il settore della guida intelligente”.

Divisione tecnologica, gioco delle risorse

Per passare al team di progetto end-to-end, l'ingegnere Tian Wei ha iniziato direttamente dal corso di laurea in deep learning.

Ha trovato un corso classico sul deep learning e una scheda grafica e ha utilizzato i corsi pratici del libro di testo per implementare alcuni semplici algoritmi di riconoscimento delle immagini. "Almeno devi prima comprendere a fondo i punti di conoscenza prima di poter capire come funziona il modello stesso."

Dopo due mesi di lettura e pratica, Tian Wei ha finalmente sentito di poter comprendere un codice open source di grandi dimensioni end-to-end. Ha presentato domanda all'azienda per essere trasferito nel team di progetto end-to-end.

In effetti, non solo Tian Wei è ansioso, ma l'azienda di guida intelligente in cui lavora Tian Wei è ancora più ansiosa di lui. Ha detto a 36Kr che la sua azienda sta collaborando con un'azienda automobilistica per sviluppare una soluzione di produzione di massa per la guida intelligente, ma c'è anche un team all'interno dell'azienda automobilistica che sta promuovendo l'end-to-end “L'intera azienda è molto ansiosa e lo ha fatto ho già avviato il piano end-to-end.”

Tian Wei ha affermato che, secondo le conoscenze dell'azienda, una demo end-to-end può essere addestrata con solo 2.000 ore di dati video e questo livello di dati può essere completato in uno o due mesi utilizzando 50 veicoli.

Ma Tian Wei sa molto bene che con le risorse esistenti dell'azienda, può solo supportare la formazione di una demo end-to-end per dimostrare la fattibilità della soluzione. C’è ancora un grande divario tra demo e produzione di massa.

Questo nuovo gioco di divisione tecnologica si rifletterà innanzitutto nella divisione delle risorse.

Il CEO di Tesla Musk una volta ha sottolineato l'importanza dei dati per l'end-to-end: "La formazione con 1 milione di casi video è appena sufficiente; con 2 milioni è leggermente meglio; con 3 milioni, ti sentirai Wow ; 10 milioni, diventa incredibile”.

D'altra parte, ci sono risorse informatiche. Musk ha anche acquistato su larga scala la formazione sulle schede grafiche NVIDIA, affermando che entro la fine dell'anno, la sua potenza di calcolo per la formazione sull'intelligenza artificiale sarà pari alla potenza di calcolo equivalente di 90.000 NVIDIA H100. La riserva e la domanda di potenza di calcolo sono sconcertanti.

Questa soglia è piuttosto alta. Le aziende di guida intelligente che stanno ancora lottando per fare soldi, da un lato, non collaborano con le case automobilistiche, quindi è difficile per le aziende di guida intelligente raccogliere da sole i dati di formazione, dall'altro i chip di formazione sul cloud sono difficili; trovare in Cina molte case automobilistiche li stanno acquistando a prezzi elevati. "I progetti e i finanziamenti per la produzione di massa non sono ancora chiari ed è difficile investire in investimenti end-to-end a lungo termine".

Anche un altro ingegnere di guida intelligente si è sentito impotente. Dopo aver sviluppato il progetto end-to-end per meno di sei mesi, ha ricevuto un avviso da parte dell'azienda di sospendere il progetto end-to-end. Il motivo è che l’azienda deve concentrare le proprie energie e risorse sullo sviluppo dell’attuale soluzione di guida intelligente senza mappe urbane, che “consuma troppe risorse end-to-end”.

Ciò che l'ingegnere ha ritenuto è un peccato che la demo end-to-end realizzata dal suo team fosse pronta. Inizialmente il team mirava a valutare l'FSD di Tesla e ha anche dedicato grandi sforzi alla costruzione di catene di strumenti e altre infrastrutture. Ma con la sospensione della strategia end-to-end dell'azienda, l'attenzione della ricerca e dello sviluppo del team si è spostata nel campo della robotica.

La nuova tecnologia end-to-end non è stata ancora realmente implementata in Cina, ma il suo impatto sul rimodellamento della struttura dei talenti e della struttura ecologica del settore della guida intelligente ha cominciato a manifestarsi.

Nonostante ciò, i principali attori faranno comunque del loro meglio per salire a bordo di questo treno dirompente e arriverà l’era dei giganti che controllano le risorse di dati, le risorse di chip e le risorse umane.

(Qin Feng e Tian Wei sono pseudonimi nell'articolo.)