소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Text丨 리안치

편집자丨리친

"엔드 투 엔드를 수용하거나, 몇 년 안에 스마트 드라이빙 산업을 떠나거나 둘 중 하나입니다."

스마트 운전 엔지니어 Qin Feng(가명)은 수년 동안 스마트 운전 업계에 진출한 후 이미 스마트 운전 업계의 치열한 혁신 속도에 적응했습니다. 그러나 "엔드 투 엔드 대형 모델"이라는 새로운 기술이 등장하면 가장 먼저 영향을 받는 사람은 인간 운전자가 아니라 엔지니어인 자신일 수도 있다고 생각합니다.

이런 종류의 불안은 진펑에게만 있는 것이 아닙니다. 많은 스마트 드라이빙 엔지니어들은 새로운 기술을 배우기 위해 야근 중에 최신 업계 논문을 읽고, Bilibili에 가서 강의를 듣고, 일부는 대학원 교과서로 배우기 시작했다고 36Kr에 말했습니다.

'엔드 투 엔드 대형 모델'은 올해 지능형 운전 업계의 최신 기술 폭탄이다.

테슬라는 올해 1월 일반 사용자를 대상으로 FSD(자율주행 소프트웨어 패키지) v12 테스트 버전을 공식 출시했다. 이번 버전은 엔드투엔드 네트워크 솔루션을 채택했으며, 많은 사용자들은 이전 v11 버전보다 경험이 훨씬 더 사용자 친화적이라고 말합니다.

머스크는 한때 "이미지 최종 입력, 제어 최종 출력"이라고 부르며 엔드투엔드 기능을 도입했습니다. 많은 업계 관계자들이 Tesla의 엔드투엔드 솔루션이 실제 수준에서 그렇게 급진적이고 마법적이라고 믿지 않는다고 36Kr에 표현했지만, 엔드투엔드 솔루션은 여전히 ​​국내 동료들을 꿀처럼 몰아가고 있습니다. 국내 플레이어들은 대형 모델, 대규모 컴퓨팅 성능, 대규모 데이터를 기반으로 AI 시스템이 인간처럼 운전할 수 있다고 점차 믿고 있습니다.

새로운 기술 트렌드를 감지한 국내 자동차 기업과 선도적인 스마트 드라이빙 기업들은 이미 대책에 나섰습니다. Huawei, NIO, BYD와 같은 주요 업체들은 엔드투엔드 솔루션을 홍보하기 위해 팀과 자원을 투자했습니다. 두 자동차 회사인 Ideal과 NIO도 기술 구현을 가속화하기 위해 엔드투엔드 대규모 모델 전담 부서를 설립했습니다. .

고급인재 확보 경쟁도 은밀하게, 은밀하게 치솟고 있다. Xiaomi Motors는 첫 번째 자동차가 시장에 출시되었을 때 스마트 드라이빙의 발전을 따라잡기 위해 전 Tucson China CTO인 Wang Naiyan을 고용하여 합류시켰습니다. 스마트 운전 업계의 일부 사람들은 Huawei Smart Driving이 관련 특허를 사용하여 인재를 확보하고 표적 마이닝을 수행하기도 한다고 36Kr에 말했습니다.

새로운 계획은 실제로 국내 시장에 불을 붙이고 있다. 그러나 이 동전의 다른 측면은 엔드투엔드가 수많은 엔지니어의 수동 스태킹보다는 데이터 기반 구현에 크게 의존한다는 것입니다. 약 300명에 달하는 Tesla의 팀 규모는 모델로 활용되며 주요 플레이어들 사이에 확산됩니다.

그러나 업계 현실은 현재 선두주자들로 구성된 스마트 드라이빙 팀이 거의 천 명에 가까운 인재를 보유하고 있다는 것이다. 스마트 운전을 추구하는 확고한 자동차 회사 BYD는 3,000명의 소프트웨어 팀을 보유하고 있으며 화웨이의 스마트 운전 팀도 크게 뒤처지지 않습니다. 시장이 좋을 때 엔지니어는 일반적으로 연봉이 수백만 달러인 급여 패키지를 얻을 수 있습니다.

그러나 많은 스마트 드라이빙 엔지니어들은 엔드투엔드 솔루션의 효과가 더욱 검증되면 자동차 회사 스마트 드라이빙팀의 정리해고가 발생할 가능성이 높은 사건이 될 것이라고 믿고 있다.

"200~300명은 필요 없다." 전직 파워카 회사의 스마트 드라이빙 중추는 36 크립톤에게 단호하게 말했다. 딥 러닝 배경을 갖춘 갓 졸업생이라도 엔드투엔드 프로젝트에 참여하는 일부 스마트 운전 엔지니어보다 유리할 수 있습니다.

일부 스마트 드라이빙 헤드헌터들도 업계에 인재가 넘친다고 느끼고 있다. 자동차 회사의 스마트 드라이빙 팀은 더 이상 새로운 직책을 내놓지 않고, 인력도 효율화되기 시작했다. 그는 헤드헌터에서 트랙을 바꿔 로봇 회사에서 인재를 채용하는 쪽으로 눈을 돌렸습니다.

엔지니어가 문 밖에서 막혔습니다.

지능형 운전 엔지니어 Tian Wei(가명)는 36Kr에게 이 새로운 기술 혁명에서 계획 및 제어 모듈의 엔지니어가 인식 모듈 및 예측 모듈보다 더 많은 영향을 받을 것이라고 말했습니다.

이는 주로 엔드투엔드 솔루션이 기존 스마트 드라이빙 솔루션과 크게 다르기 때문입니다. 기존 솔루션은 인식, 위치 파악, 지도, 예측, 계획 제어 등 여러 모듈로 구분됩니다. 모듈 기능의 구현은 기본적으로 엔지니어의 코드에 따라 이루어집니다. 인지, 계획, 제어라는 두 가지 주요 부서의 인력이 지능형 운전 팀의 대다수를 차지하는 경우가 많습니다.

하지만 엔드투엔드 솔루션의 특징은 엔지니어에 의한 코드 중심에서 데이터 중심으로 바뀌는 것입니다. 가장 이상적인 방법은 시스템에 이미지를 입력하는 것이며, 시스템이 직접 차량 제어를 출력할 수 있고 중간 링크는 AI 신경망에 의해 완성된다.

국내 선두 업체들의 진전을 보면, 엔드투엔드 솔루션 도입 이후 기존 솔루션의 여러 모듈이 AI 신경망을 통해 변형되어 대규모 인식 모델과 대규모 예측이라는 두 개의 대규모 네트워크로 통합되고 있습니다. 그리고 의사결정 모델. "현재의 많은 솔루션은 대규모 인식 모델을 기반으로 하며 대규모 예측 계획 모델과 연결되어 있습니다."

추가 솔루션은 업계에서 "하나의 모델"이라고 부르는 인식, 예측, 의사결정 및 계획을 통합할 것입니다.

새로운 기술 경로에는 자동차 회사의 스마트 운전 팀을 위한 새로운 인재 프로필도 있습니다.

지능형 운전 담당자는 36Kr에게 엔드투엔드 팀에 필요한 인력은 적지만 인재 기준 요구 사항은 더 높아졌다고 말했습니다. 대규모 모델 자체를 위해서는 팀에 강력한 딥 러닝 배경이 필요합니다. “프로젝트 구축 단계에서는 강력한 인프라(인프라) 인재, 각 모듈의 인식, 계획 및 제어에 대한 깊은 이해, 다양한 기술에 대한 이해도 필요합니다. 칩 컴퓨팅 플랫폼 지원, 다양한 AI 추론 프레임워크 등.”

그러나 모델 구축과 훈련을 담당하는 사람의 수는 극히 일부에 불과합니다. "아마도 팀의 90%가 엔드투엔드 데이터는 물론 데이터 폐쇄 루프 툴 체인 지원 등을 제공하고 있습니다."

"빅 모델 자체가 매우 유능한 팀이다." 현명한 사람이 말했다. 이것이 OpenAI와 같은 AI 기술 회사가 초기에는 200~300명에 불과했지만 대규모 언어 모델인 ChatGPT를 출시하고 글로벌 AI 프로세스를 바꿀 수 있었던 이유입니다.

엔지니어에게 엔드투엔드 기술이 미치는 영향도 다양합니다.

지능형 운전 전문가는 36Kr에게 인식과 제어의 두 가지 모듈 중 대형 인식 모델이 원래 딥 러닝 기술에 의존했다고 말했습니다. 육안 검사 경로가 과거 CNN 컨볼루셔널 신경망에서 Transformer 기반 BEV로 전환됐지만 엔지니어에게 미치는 영향은 크지 않았다.

그러나 규제 엔지니어의 경우 엔드투엔드에 참여하려면 거의 다시 트랙을 전환해야 합니다. 지능형 운전 전문가는 36Kr에 전통적인 규제 및 제어 엔지니어가 주로 경로 예측, 경로 최적화, 규칙 후처리 및 차량 제어 등 여러 방향에 중점을 두고 있다고 말했습니다. "그들은 모두 매우 세분화된 주제이고 기본적으로 관련성이 없습니다. 경로 예측 모듈을 제외하고 다른 방향의 엔지니어는 기본적으로 딥러닝 배경 지식이 없습니다."

지능형 운전 엔지니어 Tian Wei는 36Kr에 규제 기관이 엔드 투 엔드로 전환하려는 경우 한 방향은 모델 교육 자체이지만 이를 위해서는 강력한 딥 러닝 배경이 필요하다고 말했습니다. "딥러닝을 공부하는 갓 졸업생들이 당신보다 모델을 더 잘 이해할 가능성이 있습니다."

둘째, End-to-End 데이터 영양을 제공하기 위한 데이터 마이닝 및 처리입니다. "그러나 툴 체인의 인프라가 완성되고 모델 구조가 안정화되면 더 이상 사람이 필요하지 않을 수 있습니다." 마지막으로, 엔드 투 엔드 대형 모델에 의한 궤적 출력은 신뢰할 수 없습니다. 규칙을 작성하려면 여전히 소수의 엔지니어가 필요합니다.

엔지니어들도 이에 대해 걱정하고 있다. "한편으로는 엔드 투 엔드 대형 모델 자체에는 그렇게 많은 사람이 필요하지 않습니다. 다른 한편으로는 모두가 엔드 투 엔드를 하고 싶어하지만 회사의 대량 생산 사업은 이를 운영할 사람이 필요합니다."

Zhijia의 한 직원도 회사의 현재 대량 생산 프로젝트로 인해 엔드투엔드 프로젝트 팀에 합류할 기회를 놓친 것에 대해 불만을 표시했습니다. 그러나 그는 또한 매우 얽혀 있습니다. 그가 엔드 투 엔드 솔루션에 들어간다고 해도 그것은 새로운 솔루션을 지원하는 것이지만 이것이 대형 모델 자체의 핵심 위치는 아닙니다.

그리고 현재 양산 프로젝트 포지션에 머물면 스마트 드라이빙 양산 프로젝트에 대한 완전한 경험을 쌓을 수 있고, 향후 몇 년 안에 전통적인 자동차 회사로 이전할 수도 있습니다.

하지만 엔드투엔드 솔루션이 업계 전반에 대중화되면 그가 수년간 쌓아온 기술도 몇 년 안에 사라질 위험에 직면하게 된다. “스마트 드라이빙 업계를 떠나야 할지도 모릅니다.”

기술부문, 자원게임

엔드투엔드 프로젝트 팀으로 이동하기 위해 엔지니어 Tian Wei는 딥 러닝 대학원 과정을 직접 시작했습니다.

그는 딥 러닝과 그래픽 카드에 대한 고전적인 과정을 찾았고, 교과서에 있는 실습 과정을 사용하여 몇 가지 간단한 이미지 인식 알고리즘을 구현했습니다. "적어도 모델 자체가 어떻게 작동하는지 이해하기 전에 먼저 지식 포인트를 철저하게 이해해야 합니다."

두 달 동안 읽고 연습한 끝에 Tian Wei는 마침내 엔드 투 엔드 대형 모델 오픈 소스 코드를 이해할 수 있다고 느꼈습니다. 그는 엔드투엔드 프로젝트 팀으로 이동하기 위해 회사에 지원했습니다.

사실 Tian Wei뿐만 아니라 Tian Wei가 일하는 스마트 운전 회사도 그보다 더 불안합니다. 그는 36Kr에게 자신의 회사가 스마트 드라이빙을 위한 양산 솔루션 개발을 위해 자동차 회사와 협력하고 있지만, 자동차 회사 내에서도 엔드투엔드를 추진하는 팀이 있다고 말했다. 이미 엔드 투 엔드 계획을 시작했습니다.”

Tian Wei는 회사의 이해에 따르면 단 2,000시간의 비디오 데이터만으로 엔드투엔드 데모를 훈련할 수 있으며 이 수준의 데이터는 50대의 차량을 사용하여 1~2개월 안에 완료할 수 있다고 말했습니다.

그러나 Tian Wei는 회사의 기존 자원으로는 솔루션의 타당성을 입증하기 위한 엔드투엔드 데모 교육만 지원할 수 있다는 것을 잘 알고 있습니다. 데모와 대량생산 사이에는 여전히 큰 격차가 있습니다.

이번 신기술 분할 게임은 자원 분할에 가장 먼저 반영될 예정이다.

Tesla CEO Musk는 엔드-투-엔드를 위한 데이터의 중요성을 다음과 같이 강조한 적이 있습니다. "100만 개의 비디오 사례를 사용한 교육은 거의 충분하지 않습니다. 200만 개의 경우에는 약간 더 좋고, 300만 개의 경우에는 와우를 느낄 것입니다." 1000만 달러라니 말도 안 되는 일이군요.”

한편, 컴퓨팅 파워 리소스도 있는데, 머스크는 엔비디아 그래픽 카드 트레이닝을 대규모로 구매해 연말까지 인공지능 트레이닝 컴퓨팅 파워가 엔비디아 H100 9만 대와 맞먹는 컴퓨팅 파워를 갖추게 될 것이라고 밝혔습니다. 컴퓨팅 성능에 대한 보유량과 수요는 엄청납니다.

이 임계값은 상당히 높습니다. 여전히 돈을 벌기 위해 애쓰는 스마트 드라이빙 기업의 경우, 자동차 기업과 협력하지 않기 때문에 스마트 드라이빙 기업이 스스로 훈련 데이터를 수집하기 어려운 반면, 클라우드 트레이닝 칩은 어렵다. 중국에서는 많은 자동차 회사들이 높은 가격에 인수하고 있습니다. "대량생산 프로젝트와 자금조달이 아직 불투명하고, 엔드투엔드 장기투자에 어려움을 겪고 있다."

또 다른 스마트 드라이빙 엔지니어도 무력감을 느꼈다. 반년이 채 안 돼 엔드투엔드 프로젝트를 개발한 뒤 회사로부터 엔드투엔드 프로젝트를 중단하라는 통지를 받았다. 그 이유는 회사가 “끝부터 끝까지 너무 많은 자원을 소비”하는 현재의 도시 지도 없는 스마트 드라이빙 솔루션 개발에 에너지와 자원을 집중해야 하기 때문입니다.

엔지니어가 느낀 것은 자신의 팀이 만든 엔드투엔드 데모가 준비가 되어 있다는 점이었습니다. 팀은 처음에는 Tesla의 FSD를 벤치마킹하는 것을 목표로 했으며, 툴 체인 및 기타 인프라 구축에도 많은 노력을 기울였습니다. 그러나 회사의 엔드투엔드 전략이 중단되면서 팀의 연구 개발 초점이 로봇공학 분야로 옮겨졌습니다.

엔드 투 엔드 신기술은 아직 중국에서 실제로 구현되지 않았지만, 스마트 드라이빙 산업의 인재 구조와 생태 구조 재편에 미치는 영향이 나타나기 시작했습니다.

그럼에도 불구하고 선두주자들은 여전히 ​​이 파괴적인 열차에 탑승하기 위해 최선을 다할 것이고, 데이터 자원, 칩 자원, 인적 자원을 통제하는 거대 기업의 시대가 올 것입니다.

(기사에서는 Qin Feng과 Tian Wei가 가명입니다.)