Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Text丨Anqi Li

Herausgeber: Li Qin

„Entweder setzen Sie sich komplett um oder verlassen Sie die Smart-Driving-Branche in ein paar Jahren.“

Nachdem Qin Feng (Pseudonym), Ingenieur für intelligentes Fahren, mehrere Jahre lang in die Branche des intelligenten Fahrens eingestiegen ist, hat er sich bereits an das rasante Tempo der Weiterentwicklung in der Branche des intelligenten Fahrens angepasst. Aber wenn die neue Technologie „End-to-End-Großmodell“ auf den Markt kommt, ist er der Meinung, dass die erste Person, die davon betroffen sein könnte, möglicherweise nicht der menschliche Fahrer, sondern er selbst als Ingenieur ist.

Diese Art von Angst kommt nicht nur bei Qin Feng vor. Viele Ingenieure für intelligentes Fahren erzählten 36Kr, dass sie, um neue Technologien zu erlernen, während ihrer Überstunden die neuesten Branchenpapiere gelesen haben, nach Bilibili gegangen sind, um Vorlesungen zu besuchen, und einige haben sogar angefangen, aus Lehrbüchern für Graduiertenschulen zu lernen.

„End-to-End-Großmodell“ ist in diesem Jahr die neueste Technologiebombe in der intelligenten Fahrbranche.

Im Januar dieses Jahres stellte Tesla offiziell die Testversion von FSD (Softwarepaket für autonomes Fahren) v12 für normale Benutzer vor. Diese Version übernimmt eine End-to-End-Netzwerklösung und viele Benutzer sagen, dass die Erfahrung viel benutzerfreundlicher ist als die vorherige Version v11.

Musk führte einst die End-to-End-Fähigkeit ein und nannte sie „Bild-End-Eingabe, Steuerung-End-Ausgabe“. Obwohl viele Brancheninsider gegenüber 36Kr zum Ausdruck brachten, dass sie nicht glauben, dass Teslas End-to-End-Lösung auf praktischer Ebene so radikal und magisch ist, treibt die End-to-End-Lösung inländische Konkurrenten immer noch wie Honig an. Inländische Akteure glauben allmählich, dass KI-Systeme, angetrieben durch große Modelle, große Rechenleistung und riesige Datenmengen, wie Menschen fahren können.

Inländische Automobilhersteller und führende Unternehmen für intelligentes Fahren haben den neuen technologischen Trend erkannt und bereits Maßnahmen ergriffen. Führende Akteure wie Huawei, NIO und BYD haben Teams und Ressourcen investiert, um End-to-End-Lösungen zu fördern, und zwei Automobilhersteller, Ideal und NIO, haben außerdem spezielle Abteilungen für End-to-End-Großmodelle eingerichtet, um die Technologieimplementierung zu beschleunigen . .

Der Wettbewerb um High-End-Talente nimmt sowohl offen als auch verdeckt zu. Als das erste Auto auf den Markt kam, engagierte Xiaomi Motors den ehemaligen CTO von Tucson China, Wang Naiyan, um mit dem Fortschritt des intelligenten Fahrens Schritt zu halten. Einige Leute in der Smart-Driving-Branche sagten 36Kr, dass Huawei Smart Driving sogar relevante Patente nutzt, um Talente zu binden und gezieltes Mining durchzuführen.

Der neue Plan bringt tatsächlich den heimischen Markt in Schwung. Die Kehrseite dieser Medaille ist jedoch, dass End-to-End stark auf einer datengesteuerten Implementierung und nicht auf dem manuellen Einsatz einer großen Anzahl von Ingenieuren beruht. Die Teamgröße von Tesla mit etwa 300 Personen dient als Vorbild und wird auf führende Akteure verteilt.

Die Realität in der Branche sieht jedoch so aus, dass die aktuellen Smart-Driving-Teams führender Akteure über fast tausend Talente verfügen. BYD, ein etablierter Automobilhersteller, der intelligentes Fahren anstrebt, verfügt über ein Softwareteam von 3.000 Mitarbeitern, und das Smart-Driving-Team von Huawei ist nicht weit dahinter. Wenn der Markt gut ist, können Ingenieure in der Regel Gehaltspakete mit einem Jahresgehalt in Millionenhöhe erhalten.

Viele Smart-Driving-Ingenieure glauben jedoch, dass es mit hoher Wahrscheinlichkeit zu Entlassungen in den Smart-Driving-Teams der Automobilhersteller kommen wird, wenn die Wirkung der End-to-End-Lösung weiter verifiziert wird.

„Es besteht kein Bedarf für 200-300 Leute“, sagte ein ehemaliges Rückgrat des Smart-Driving-Unternehmens für ein neues Power-Car-Unternehmen mit Nachdruck gegenüber 36 Krypton. Sogar frischgebackene Hochschulabsolventen mit umfassendem Lernhintergrund können gegenüber einigen Ingenieuren für intelligentes Fahren, die sich mit End-to-End-Projekten befassen, einen Vorteil haben.

Einige Smart-Driving-Headhunter haben auch eindeutig das Gefühl, dass es in der Branche nur so vor Talenten wimmelt: Die Smart-Driving-Teams der Autofirmen geben keine neuen Stellen mehr frei und das Personal wird gestrafft. „In den neuesten Nachrichten sind viele HCs im Umlauf.“ Von einem Headhunter hat er den Weg gewechselt und sich der Rekrutierung von Talenten für Robotikunternehmen zugewandt.

Der Ingenieur blieb vor der Tür stehen

Der Ingenieur für intelligentes Fahren, Tian Wei (Pseudonym), sagte gegenüber 36Kr, dass bei dieser neuen technologischen Revolution die Ingenieure im Planungs- und Steuerungsmodul stärker betroffen sein werden als das Wahrnehmungsmodul und das Vorhersagemodul.

Dies liegt vor allem daran, dass sich die End-to-End-Lösung deutlich von der herkömmlichen Smart-Driving-Lösung unterscheidet. Herkömmliche Lösungen sind in mehrere Module wie Wahrnehmung, Positionierung, Karte, Vorhersage und Planungssteuerung unterteilt. Die Implementierung der Modulfunktionen wird im Wesentlichen durch Ingenieurcodes gesteuert. Mitarbeiter aus den beiden Hauptabteilungen Wahrnehmung sowie Planung und Kontrolle machen häufig den Großteil des intelligenten Fahrteams aus.

Das Charakteristische an der End-to-End-Lösung ist jedoch, dass sie sich von einer codegesteuerten Lösung durch Ingenieure hin zu einer datengesteuerten Lösung wandelt. Der idealste Weg besteht darin, Bilder in das System einzugeben, und das System kann die Fahrzeugsteuerung direkt ausgeben, und die Zwischenverbindungen werden durch das neuronale KI-Netzwerk vervollständigt.

Gemessen an den Fortschritten inländischer führender Akteure werden nach der Einführung der End-to-End-Lösung mehrere Module der traditionellen Lösung durch neuronale KI-Netze umgewandelt und in zwei große Netze integriert: ein großes Wahrnehmungsmodell und ein großes Vorhersagemodell und Entscheidungsmodell. „Viele aktuelle Lösungen basieren auf großen Wahrnehmungsmodellen und sind mit einem großen prädiktiven Planungsmodell verbunden.“

Eine weitere Lösung wird Wahrnehmung, Vorhersage, Entscheidungsfindung und Planung integrieren, was die Branche „One Model“ nennt.

Die neue technische Route bietet auch ein neues Talentprofil für die Smart-Driving-Teams der Automobilhersteller.

Ein intelligenter Fahrer sagte gegenüber 36Kr, dass das End-to-End-Team weniger Leute benötige, aber die Anforderungen an die Talentschwelle seien höher geworden. Das große Modell selbst erfordert einen starken Deep-Learning-Hintergrund des Teams. „In der Projektaufbauphase sind außerdem ausgeprägte Infrastrukturtalente, ein tiefes Verständnis für jedes Modul der Wahrnehmung, Planung und Kontrolle sowie ein Verständnis für die verschiedenen Module erforderlich.“ Unterstützung für Chip-Computing-Plattformen, verschiedene KI-Argumentations-Frameworks usw.“

Allerdings macht die Zahl der Verantwortlichen für Modellbau und Ausbildung nur einen kleinen Teil aus. „Vielleicht 90 % des Teams stellen End-to-End-Daten sowie Daten-Closed-Loop-Tool-Chain-Unterstützung usw. bereit.“

„Das große Modell selbst ist ein sehr fähiges Team.“ Aus diesem Grund hatten KI-Technologieunternehmen wie OpenAI in ihren Anfängen nur 200–300 Mitarbeiter, konnten aber das große Sprachmodell ChatGPT einführen und den globalen KI-Prozess verändern.

Für Ingenieure sind die Auswirkungen der End-to-End-Technologie ebenfalls unterschiedlich.

Ein Experte für intelligentes Fahren erklärte gegenüber 36Kr, dass das große Wahrnehmungsmodell unter den beiden Modulen Wahrnehmung und Kontrolle ursprünglich auf Deep-Learning-Technologie beruhte. Obwohl sich der Weg der visuellen Inspektion vom bisherigen CNN-Faltungs-Neuronalen Netzwerk zum Transformer-basierten BEV verlagert hat, waren die Auswirkungen auf Ingenieure nicht groß.

Aber wenn Regulierungsingenieure sich Ende-zu-Ende anschließen wollen, müssen sie fast noch einmal die Spur wechseln. Ein Experte für intelligentes Fahren erklärte gegenüber 36Kr, dass sich herkömmliche Regulierungs- und Steuerungsingenieure hauptsächlich auf mehrere Richtungen konzentrieren: Pfadvorhersage, Pfadoptimierung, Regelnachbearbeitung und Fahrzeugsteuerung. „Das sind alles sehr gegliederte Themen und im Grunde genommen irrelevant. Abgesehen vom Pfadvorhersagemodul haben Ingenieure in anderen Richtungen grundsätzlich keinen Deep-Learning-Hintergrund.“

Der Ingenieur für intelligentes Fahren, Tian Wei, erklärte gegenüber 36Kr, dass, wenn die Regulierungsbehörden auf End-to-End umsteigen wollen, eine Richtung das Modelltraining selbst sei, dies jedoch einen starken Deep-Learning-Hintergrund erfordert. „Es ist möglich, dass neue Absolventen, die Deep Learning studieren, Modelle besser verstehen als Sie.“

Zweitens geht es um Data Mining und Datenverarbeitung, um eine durchgängige Datenernährung bereitzustellen. „Aber wenn die Infrastruktur der Werkzeugkette vervollständigt und die Modellstruktur stabilisiert ist, werden möglicherweise keine Mitarbeiter mehr benötigt.“ Die vom End-to-End-Großmodell ausgegebene Flugbahn ist nicht vertrauenswürdig und erfordert immer noch eine kleine Anzahl von Ingenieuren zum Schreiben. Die Regeln sind klar.

Darüber machen sich auch Ingenieure Sorgen. „Einerseits erfordert das End-to-End-Großmodell selbst nicht so viele Leute. Andererseits möchte jeder End-to-End machen, aber das Massenproduktionsgeschäft des Unternehmens braucht Leute, die es betreiben.“

Ein Zhijia-Mitarbeiter war auch verärgert darüber, dass er aufgrund des aktuellen Massenproduktionsprojekts des Unternehmens die Gelegenheit verpasst hatte, dem End-to-End-Projektteam beizutreten. Aber er ist auch sehr verwickelt: Auch wenn er in die End-to-End-Lösung einsteigt, soll er die neue Lösung unterstützen, aber das ist nicht die Kernposition des großen Modells selbst;

Und wenn Sie in Ihrer aktuellen Position als Massenproduktionsprojekt bleiben, können Sie umfassende Erfahrung in Massenproduktionsprojekten für intelligentes Fahren sammeln und diese in den nächsten Jahren auch auf traditionelle Automobilunternehmen übertragen.

Aber sobald die End-to-End-Lösung in der gesamten Branche populär wird, besteht auch die Gefahr, dass der über viele Jahre aufgebaute Technologie-Stack in ein paar Jahren vernichtet wird. „Möglicherweise muss ich die Branche des intelligenten Fahrens verlassen.“

Technologieabteilung, Ressourcenspiel

Um in das End-to-End-Projektteam aufzusteigen, startete Ingenieur Tian Wei direkt mit dem Aufbaustudiengang Deep Learning.

Er fand einen klassischen Kurs über Deep Learning und eine Grafikkarte und nutzte die praktischen Kurse im Lehrbuch, um einige einfache Bilderkennungsalgorithmen zu implementieren. „Zumindest muss man zunächst die Wissenspunkte gründlich verstehen, bevor man verstehen kann, wie das Modell selbst funktioniert.“

Nach zwei Monaten des Lesens und Übens hatte Tian Wei endlich das Gefühl, dass er einen umfassenden Open-Source-Code für große Modelle verstehen konnte. Er hat sich bei dem Unternehmen um die Übernahme in das End-to-End-Projektteam beworben.

Tatsächlich ist nicht nur Tian Wei besorgt, sondern auch das Unternehmen für intelligentes Fahren, bei dem Tian Wei arbeitet, ist noch besorgter als er. Er erzählte 36Kr, dass sein Unternehmen mit einem Automobilhersteller zusammenarbeitet, um eine Massenproduktionslösung für intelligentes Fahren zu entwickeln, aber es gibt auch ein Team innerhalb des Automobilherstellers, das dies durchgängig vorantreibt: „Das gesamte Unternehmen ist sehr besorgt und hat es getan.“ hat bereits mit dem End-to-End-Plan begonnen.“

Tian Wei sagte, dass nach dem Verständnis des Unternehmens eine End-to-End-Demo mit nur 2.000 Stunden Videodaten trainiert werden könne und diese Datenmenge in ein oder zwei Monaten mit 50 Fahrzeugen abgeschlossen werden könne.

Aber Tian Wei weiß sehr gut, dass das Unternehmen mit den vorhandenen Ressourcen nur die Schulung einer End-to-End-Demo unterstützen kann, um die Machbarkeit der Lösung zu beweisen. Zwischen Demo und Massenproduktion klafft immer noch eine große Lücke.

Dieses neue Spiel der Technologieabteilung wird sich zunächst in der Ressourcenabteilung widerspiegeln.

Tesla-CEO Musk betonte einmal die Bedeutung von Daten für End-to-End: „Das Training mit 1 Million Videofällen reicht kaum aus; mit 2 Millionen ist es etwas besser; mit 3 Millionen werden Sie das Gefühl haben, Wow zu haben.“ 10 Millionen, es wird unglaublich.“

Auf der anderen Seite hat Musk auch in großem Umfang NVIDIA-Grafikkarten gekauft und erklärt, dass seine Rechenleistung für das Training künstlicher Intelligenz bis zum Ende des Jahres der Rechenleistung von 90.000 NVIDIA H100 entsprechen wird. Die Reserven und der Bedarf an Rechenleistung sind atemberaubend.

Diese Schwelle ist recht hoch. Für Smart-Driving-Unternehmen, die immer noch Schwierigkeiten haben, Geld zu verdienen, arbeiten sie einerseits nicht mit Automobilherstellern zusammen, so dass es für Smart-Driving-Unternehmen schwierig ist, selbst Trainingsdaten zu sammeln. Andererseits sind Cloud-Trainingschips schwierig Viele Automobilhersteller erwerben sie zu hohen Preisen. „Die Massenproduktionsprojekte und die Finanzierung sind noch unklar, und es ist schwierig, in durchgängige langfristige Investitionen zu investieren.“

Auch ein anderer kluger Fahringenieur fühlte sich hilflos. Nachdem er das End-to-End-Projekt weniger als ein halbes Jahr lang entwickelt hatte, erhielt er vom Unternehmen eine Mitteilung, das End-to-End-Projekt auszusetzen. Der Grund dafür ist, dass das Unternehmen seine Energie und Ressourcen auf die Entwicklung der aktuellen Smart-Driving-Lösung ohne Stadtkarten konzentrieren muss, die „durchgängig zu viele Ressourcen verbraucht“.

Der Ingenieur empfand es als schade, dass die von seinem Team erstellte End-to-End-Demo fertig war. Das Team hatte zunächst das Ziel, Teslas FSD zu vergleichen, und investierte sogar große Anstrengungen in den Aufbau von Toolketten und anderer Infrastruktur. Doch mit der Aufhebung der End-to-End-Strategie des Unternehmens verlagerte sich der Forschungs- und Entwicklungsschwerpunkt des Teams auf den Bereich Robotik.

Die durchgängige neue Technologie wurde in China noch nicht wirklich umgesetzt, aber ihre Auswirkungen auf die Neugestaltung der Talentstruktur und der ökologischen Struktur der Smart-Driving-Branche zeichnen sich bereits ab.

Dennoch werden führende Akteure weiterhin ihr Bestes geben, um in diesen disruptiven Zug einzusteigen, und die Ära der Giganten wird kommen, die Datenressourcen, Chipressourcen und Humanressourcen kontrollieren.

(Qin Feng und Tian Wei sind in dem Artikel Pseudonyme.)