2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
지능형 운전, 값비싼 경주가 시작된다. 순위를 결정하고 미래를 결정합니다.
텍스트丨Cheng Manqi Dou Yajuan
편집자丨송웨이
Tesla와 Xpeng에서 근무한 Gu Junli 박사는 중국의 지능형 운전 연구 및 개발 진행 상황이 Tesla보다 최소 1.5~2년 뒤쳐져 있다고 말했습니다. Lideal Zhijia의 Lang Xianpeng 부사장은 격차가 그리 크지 않으며 제품 경험 측면에서 Lideal이 최대 반년 정도 뒤처져 있다고 믿습니다.
Ideal은 Nonsense의 창립자인 He Xiaopeng이 스마트 드라이빙의 장점은 더 많은 자동차와 더 많은 데이터를 보유하고 있다는 점이라고 강조합니다.
가격 전쟁은 여전히 격화되고 있으며, 중국의 새로운 자동차 세력은 차이와 논쟁, 서로의 추격으로 가득 찬 지능형 운전이라는 새로운 전장에 집합적으로 뛰어들었습니다.
모든 자동차 회사가 이 티켓을 구입할 수 있는 것은 아닙니다. 스마트 운전에 대한 R&D 투자는 30억 위안으로 시작하여 해마다 증가하고 있습니다. 이상적으로 카드를 빌리는 데 드는 비용은 현재 연간 10억 위안이고, 앞으로는 10억 달러가 될 것입니다.
신세력이 그토록 미쳐 뒤처지기를 꺼리는 이유는 그들이 Tesla FSD V12(Tesla가 2024년 1월에 대량 홍보를 시작할 완전 자율주행의 새로운 버전)의 엄청난 진전을 보았기 때문입니다. 지능형 주행 기능이 소비자 결정에 미치는 영향을 확인했습니다. 지난해 9월 화웨이는 연말까지 전국적으로 사용할 수 있는 사진 없는 솔루션을 출시하겠다고 발표했다. 동시에 업계에서는 스마트 운전을 대대적으로 홍보하고 있다. 수천대를 맴돌던 월간 판매량이 불과 한 달 만에 1만대를 돌파했고, 연말에는 3만대를 돌파했다.
Huawei가 획기적인 스마트 운전 계획을 발표한 지 얼마 지나지 않아 Ideal은 2023년 가을 전략 회의를 열고 스마트 운전이 핵심 전략이며 잃어서는 안 된다는 점을 분명히 했습니다. 리 대표는 “2024년까지 스마트 드라이빙 분야 절대 강자가 될 것”이라고 말하고 싶다.
그 이후로 Ideal은 반복 작업을 가속화하고 두 가지 측면에서 발전했습니다. NPN(Neural Prior Net, 선험적 신경 알고리즘인 Neural Prior Net)을 사용하는 것입니다. 이 알고리즘은 일부 도로와 지도의 선험적 정보를 사용하여 도로 특징을 식별하고 고정밀 지도에 대한 의존도를 줄이는 데 도움을 줍니다. ) 드디어 따라잡았습니다. 작년 말에 Hundred-City NOA가 출시되었고, 사진이 없는 NOA는 작년 10월에 사전 개발되었으며, 수천 명을 대상으로 내부 테스트가 4회 시작되었습니다. 몇 달 후, 올해 7월에 완전히 출시되었습니다.
올 여름, 숨쉴 틈도 없이 새로운 세력이 다음 전투에 뛰어들고 있습니다. 엔드 투 엔드(end to end)는 대부분의 소비자가 이해하지 못하는 기술 용어로 군사 전략가들의 전쟁터가 되었습니다.
엔드투엔드의 중요성은 AI 시대에 지능형 운전 연구 및 개발을 제공한다는 것입니다. 더 이상 많은 수동 프로그래밍에 의존하지 않고 모델을 훈련하는 데 더 많은 데이터가 사용되는 한 시스템은 계속될 것입니다. 더 강해지고 인간 운전자보다 더 나은 성능을 발휘할 수 있습니다. 머스크는 이것이 인간이 완전 자율주행에 훨씬 더 가까워질 수 있다고 믿습니다.
Ideal은 이번 주에 "end-to-end + VLM(Visual Language Large Model)"의 새로운 아키텍처에 대한 1,000명 규모의 내부 테스트를 시작했으며, 이를 더욱 발전된 단일 모델이자 세계 최초의 이중 시스템 구현이라고 부릅니다. 하나의 모델은 자율주행의 인식과 의사결정 모듈이 모두 하나의 모델로 완성된다는 의미입니다. 입력은 센서 데이터이고, 출력은 주행 궤적입니다.
자율주행은 인지, 계획 및 의사결정, 제어라는 세 가지 모듈로 구성됩니다. 인지를 통해 '보는' 의사결정, 운전 방법을 '생각'하는 의사결정, 운전 행동을 완성하는 제어 모듈이 있습니다. End-to-End 기술은 인식부터 의사결정까지 이루어지며, 전체 프로세스는 대규모 모델을 사용하여 구현됩니다.
이 무렵 Weilai는 7월 초에 엔드 투 엔드 AEB(비상 제동 기능)의 대량 생산을 발표했습니다. Xiaopeng은 이번 주에 엔드 투 엔드 대형 대량 생산을 달성한 세계 유일의 자동차 회사라고 거듭 강조했습니다. 다른 하나는 물론 Tesla Pull입니다. 공급업체를 포함하면 Huawei와 Momenta는 올해 엔드투엔드 출시를 완료했습니다.
Ideal은 Weilai와 Xpeng보다 2년 뒤인 2021년에야 자체 스마트 운전 개발을 시작합니다. 지금의 아이디얼의 행보는 마치 저성취자가 갑자기 답을 알고 미리 서류를 제출하는 것과 같습니다.
지금 우리는 Ideal Intelligent Driving 부사장 Lang Xianpeng, Ideal Intelligent Driving Technology R&D 책임자 Jia Peng과 이야기를 나눴습니다. 그들은 이것이 어떻게 달성되는지 설명합니다.
Lang Xianpeng은 그리스 신화의 이름을 따서 주요 프로젝트 이름을 지정하는 것을 좋아하는 스마트 드라이버입니다. 그는 패턴 인식 및 지능형 시스템의 박사입니다. 그가 Ideal에서 완성한 캠페인에는 "Acropolis", "Iliad" 및 "Titan"이 포함됩니다. 2018년 Lang Xianpeng은 자율주행 이사로 Baidu에서 Ideal에 합류했으며 이후 부사장으로 승진했습니다.
Jia Peng은 기술 연구 개발 부문의 젊은 책임자입니다. 그는 중국 NVIDIA에서 지능형 운전을 수행한 최초의 사람 중 한 명입니다. 그는 칩 대기업이 자율 주행의 엔드투엔드 대규모 모델을 제안한 최초의 회사이지만 이를 실제로 구현할 수 있는 회사는 자동차 회사뿐이라는 것을 알았습니다.
엔드투엔드에 전념하는 기업은 서로 다른 로드맵과 진행 상황을 갖고 있지만 궁극적으로 L4 자율 주행을 달성한다는 하나의 야망과 하나의 기술적 방향을 공유합니다.
오늘날 지능형 운전과 엔드투엔드에 대한 열풍은 기술적인 신념뿐만 아니라 경쟁, 사용자 사고방식 및 판매 순위 때문에 발생합니다.
비용이 많이 드는 경주입니다. 그 비용은 인력 채용, GPU 구입, 모델 훈련에 드는 막대한 비용뿐만이 아닙니다. L4가 실제로 구현되기 전에는 여전히 운전석에 인간이 앉아 있을 것입니다. 현재의 스마트 드라이빙에 대한 사용자의 테스트 표준은 안전성, 신뢰성, 안정성입니다.
저성취자들이 서류를 제출하다
"늦게": Ideal은 Xpeng 및 NIO보다 늦은 2021년에 자체 개발 지능형 주행을 시작할 예정이며 항상 따라잡는 상태에 있습니다. 올해까지는 사진 없이 NPN에서 NOA로 직접 전환했다가 이번 주에는 수천 명을 대상으로 엔드투엔드 내부 테스트를 시작했다. 어떤 분은 왜 저성취자들이 갑자기 서류를 일찍 제출했느냐고 하더군요.
Lang Xianpeng: Diaosi의 반격일지도 모릅니다.
작년에 우리는 그래프에서 "사전 정보" NPN, 그래프리스에 이르기까지 3세대를 수행했습니다. 올해 6월에는 엔드투엔드(end-to-end) 아키텍처가 검증됐고, 빠르고 느린 시스템 아키텍처도 제안됐다. 시스템은 복잡한 시나리오를 처리하는 능력인 VLM(Visual Language Model)입니다.
더욱이, 우리의 end-to-end는 하나의 모델이고, 입력은 센서, 출력은 주행 궤적이며, 중간에 어떤 규칙도 없이 모두 하나의 모델로 구현됩니다. Tesla를 제외한 다른 자동차 제조사들은 특정 링크에서만 End-to-End를 구현했습니다.
"늦음": 첫 번째 핵심 진행 - NPN 솔루션부터 사진 없음까지, 작년 10월에 검증을 시작했고, 올해 2월에 내부 테스트를 거쳐 7월에 완전히 출시되었습니다. 전환을 완료하는 데만 4개월이 걸렸습니다. 어떻게 하게 되었나요?
Lang Xianpeng: 우리는 다른 회사보다 더 효율적이고 빠릅니다. 예를 들어, 의사결정 과정을 많이 줄여줍니다. 무엇을 할지 결정하고, 계획을 세우고, 팀을 구성하는 데까지 일주일밖에 걸리지 않습니다. 전통적인 자동차 회사라면 프로젝트를 시작하는 데 3개월이 걸릴 수도 있습니다.
"나중에": 이를 위해 무엇을 포기했습니까?
Lang Xianpeng: 개인적인 휴식일 수도 있겠네요. 모두가 회사의 목표를 알고 있으며 우리에게는 후퇴할 여지가 없습니다.
Jia Peng: 나도 익숙해요. 저는 NVIDIA를 그만두고 2020년에 Ideal에 합류했습니다. 우리가 항상 직면해 온 환경은 우리가 성취도가 낮고 매일 부모님에게 혼나는 것입니다.
"나중에": 이 부모는 Li Xiang입니까?
Jia Peng: 사용자입니다.
"나중에": 지능형 운전 기술의 방향은 매우 분명한 것 같습니다. Tesla에서 구체적으로 어떻게 배우셨나요?
Lang Xianpeng: 누구나 기술 연구 및 개발에 시간이 걸린다고 생각할 것입니다. 그러나 종종 필요한 것은 연구 개발 시간이 아니라 시행착오의 시간입니다. Tesla는 정말 좋은 벤치마크입니다. 시행착오를 거쳐 작동하지 않으면 우리는 떠나지 않을 것입니다.
Tesla FSD의 진화와 반복은 사진 없이도 성공을 이룰 수 있다는 것을 보여주었습니다. NPN을 선택하시겠습니까, 아니면 사진을 선택하지 않으시겠습니까? 이제 Tesla가 나왔으니 사진을 선택하지 않아서 몇 달 안에 전환했습니다.
하지만 Tesla가 우리에게 가장 큰 영감을 주는 것은 자율주행 연구개발에서 0에서 1로, 1에서 10으로 가는 방법입니다. Tesla는 처음에 스마트 드라이빙을 위해 공급업체인 Mobileye의 솔루션을 사용했지만 곧 공급업체가 요구 사항을 충족할 수 없다는 사실을 발견하고 2016년 자체 조사를 시작하여 충격의 시기를 겪으며 마침내 Mobileye의 결과를 달성했습니다. 2019년에는 자체 FSD 칩을 개발하고 AI 연구 개발을 지원하는 하드웨어를 갖추었으며, 이후 본질적으로 지능형 주행에 AI 기능을 사용하는 것으로 나타났습니다.
"Later": V12의 핵심은 엔드 투 엔드입니다. 사실 Tesla가 2023년 초에 출시한 V11 버전은 왜 그 당시에 배우지 않았습니까?
Lang Xianpeng: 모두가 고급 수학이 매우 중요하다고 생각하는 것과 같습니다. 하지만 네 가지 산술 연산을 모른다면 어떻게 고급 수학을 잘 배울 수 있습니까?
이에 대해 Wu Xinzhou (전 Xiaopeng 지능형 운전 책임자)와도 이야기를 나눴습니다. 우리 모두는 전체 프로세스를 가속화할 수는 있지만 건너뛸 수는 없다는 데 동의합니다. 다들 end-to-end를 하고 있지만 그래프, NPN, no graph부터 end-to-end까지 모든 단계를 생략할 수는 없습니다. 이 단계를 건너뛰면 실제로 많은 기술적 이해를 건너뛰게 됩니다.
작년 하반기에 100개 도시 NOA 구축을 시도하지 않았다면 우리는 NPN의 실패를 이렇게 명확하게 이해하지 못했을 것입니다. 규모로만 보면 전국에 고속도로가 3만~40만㎞밖에 안 되는데, 도시에는 수백만㎞가 있다.
"나중에": 그런데 큰 결정은 할 수 있느냐의 문제가 아니라, 감히 해낼 수 있느냐의 문제라고 앞서 말씀하셨는데요.
Lang Xianpeng: 할 수 없다는 것이 아닙니다. 정말로 한다면 자원 전쟁이 될 것입니다. 어쨌든 하고 싶으면 수천명이 퍼뜨릴 겁니다.
Jia Peng: 우리는 이 도로가 결국에는 지도 회사로 변할 것이라는 농담을 합니다.
"나중에": 나중에 속도를 높이기 위해 무엇에 의존했습니까?
Lang Xianpeng: 조직 효율성은 항상 이상적인 이점이었습니다. NPN에서 graphless, end-to-end까지 이는 큰 스위치이지만 요청하자마자 만들었습니다.
R&D와 납품의 협력 효율성이 매우 중요합니다. 기술은 상한선을 돌파해야 합니다. 어려운 것은 선택이지만 하한선을 높이는 것은 납품이 책임져야 합니다. 리샹은 지난해 하반기 회사 전략회의에서 RD(연구개발)와 PD(대량생산·납품)가 함께 이루어져야 한다는 점을 분명히 했다. 우리 팀에는 PD와 RD 두 줄이 있어요. 작년 11월과 12월에는 사진 없이 진행했는데, 올해 1월쯤에는 거의 배송 준비가 완료됐고, 2월에 RD가 처음으로 5.1 버전을 주고 지금은 5.2 버전으로 계속 배송되고 있다. 베타 1, 베타 2, 베타 3. 잘 다듬어졌습니다.
Jia Peng: 시행착오가 빠른 것 같아요. 우리의 프로세스는 폐쇄된 영역을 찾고, 짧은 시간 내에 패러다임을 검증하고, 먼저 이 패러다임이 달성할 수 있는 상한선에 도달하고, 해당 영역이 정리되면 즉시 외부로 확장하고, 동시에 안전 정책을 추가하고, 천천히 진행하는 것입니다. 그것을 굴려 라. 이 패러다임을 전국적으로 테스트해 보고, 안 되면 빠르게 데이터를 추가하고 전략을 바꿔보겠습니다. 새알부터 얼리버드, 수천 명의 내부 테스트에 이르기까지 제품 승인 프로세스에서 우리는 사용자가 우리와 협력하여 제품을 테스트하고 반복할 수 있도록 했습니다.
"나중에": 매우 위험해 보이는데, 이 과정을 통과할 수 있을 것이라고 어떻게 확신하셨나요?
Lang Xianpeng: 위험은 매우 높지만 우리는 항상 여기에 있었습니다.
당사의 첫 번째 자동차인 Lideal ONE은 Mobileye의 스마트 드라이빙 솔루션을 사용합니다. 이후 아이디얼 원 페이스리프트 인도가 임박했을 때 모빌아이는 더 이상 협력하지 않겠다며 화이트박스 배송을 제공할 수 없다고 밝혔다. 벌써 2021년이었는데 이때까지 운전 보조 기술을 익히지 않으면 절대 안 되겠다는 생각이 들었습니다. 그래서 저는 어려운 결정을 내렸습니다. 스스로 결정하세요. 우리가 할 수 없다면 그것은 우리가 무능력하기 때문이다. 그러나 오늘날 우리가 너무 소심하여 여전히 공급업체를 이용한다면 우리에게는 미래가 없을 수도 있습니다.
우리는 매우 다른 R&D 프로세스를 파악해야 했습니다. 이는 5월에 전달되었고 프로토타입은 2021년 5월 25일, Ideal ONE 출시 컨퍼런스 전날까지 생산되어야 했습니다. 해결해야 할 버그는 그날 아침에 마침내 완료되었습니다. 이것이 현재 프로세스의 프로토타입입니다. 먼저 작은 영역을 검증한 다음 기능을 개선하고 버그를 수정하고 품질을 안정화합니다.
당시 팀 인원은 100명에 불과했고, 첫 달에는 40명이 남았다. 누군가 나에게 "다른 사람이 1~2년 걸려 3개월 만에 전달하는 것을 왜 우리가 전달할 수 있느냐? 자신을 속이지 말라"고 말했습니다.
"나중에": Xiaopeng은 작년에 도시를 열 때보다 느리게 도시를 열었으며 도시를 열 때마다 최소한 4차례의 현장을 수행해야 한다고 말했습니다. 테스트를 통해서만 사용자가 블라인드 박스를 열 수 있습니다. 신속한 개발, 전달, 내부 테스트를 위해 새알에서 수천 명에게 전달되는 방식으로 어떻게 안전을 보장합니까?
Lang Xianpeng: 현재의 자율주행 시스템 평가 방식은 이전과 매우 다릅니다. 기존 스마트 드라이빙에서는 기능을 먼저 설계한 뒤 개발하고 기능을 하나씩 테스트해 검증했다. 요즘 데이터 기반 자율주행은 기능보다는 능력을 기반으로 한다. '능력'은 '시험'을 통해서만 평가된다.
우리는 월드 모델 + 섀도우 모드를 사용하여 시험을 봅니다. 월드 모델은 자동차가 달리는 실제 장면으로 재구성 및 생성되는데, 이는 연구 개발 프로세스의 능력을 평가하기 위한 시뮬레이션 테스트와 같습니다. 모의 테스트를 통과한 후 얼리버드, 내부 테스트 차량, 섀도우 모드를 이용해 실제 자동차 테스트를 진행하며, 실패할 경우 합격할 때까지 계속 반복합니다.
"늦음": 명제 구성에 대한 답변이 있는 경우 이상적으로는 다른 사람보다 빠르게 실행할 수 있지만 답변이 항상 제공되는 것은 아니며 대부분의 기술적인 질문은 개방형 질문일 수 있습니다.
Lang Xianpeng: 오늘 보시는 것은 소위 명제 구성입니다. 우리는 빠르게 따라잡고 있지만 전체 시스템이 설정되어 있기 때문에 따라잡는 것이 더 빠를 수도 있습니다.
2021년에야 자체 연구를 시작한다는 의미는 아니며, 동종 제품보다 품질이 떨어지는 제품을 제공할 수 있다는 뜻입니다. 우리는 강의 첫날부터 학급 최고의 학생들과 경쟁해야 합니다. 이것은 또한 내가 다른 사람의 학습 방법을 사용하여 학습한다면 나는 그 사람에게서 결코 배울 수 없다는 것을 의미합니다. 그러니 우리는 우리 방식대로 일을 해야 합니다.
무인지대의 가장자리에서
"Later": End-to-end는 새로운 개념이 아닙니다. Nvidia와 Waymo는 모두 몇 년 전에 end-to-end를 제안했는데, Tesla가 이것을 구현하고 홍보한 이유는 무엇일까요?
Jia Peng: 기술적인 아이디어를 제시할 뿐만 아니라 모든 사람에게 사용 결과를 보여주기 때문입니다.
Lang Xianpeng: Tesla의 많은 사람들은 믿기 때문에 보았지만, 보기 때문에 믿는 사람들이 더 많았습니다.
"늦은": Tesla가 앞길을 탐색하지 않았다면 이상은 오랫동안 뒤쳐져 있었을까요?
Lang Xianpeng: 알고리즘적으로는 원래의 조건과 자원이 부족해서 늦었습니다. 하지만 데이터를 축적하고 연구개발 시스템을 구축하는 것은 아직 늦지 않았기 때문에 따라잡을 수 있다.
우리는 처음부터 데이터 중심이 옳다는 Tesla의 철학을 분명히 알고 있었고 이에 맞춰 R&D 인프라를 구축해 나갈 것입니다. 2019년 1세대 Ideal ONE에서 우리는 데이터 수집, 마이닝, 라벨링 및 교육을 위한 도구 체인 세트인 데이터 폐쇄 루프 시스템인 Poseidon을 구축했습니다. 당시에는 자체 조사를 할 수 있는 자원이 없었지만, 문제를 수집하고 분석하기 위해 Mobileye의 카메라 옆에 추가 카메라를 배치하기도 했습니다.
예를 들어, 도로 테스트 중 문제가 발생하면 탑승자가 이를 기록한 후 동일한 장면이 반복될 때까지 운전하는 것이 전통적인 방법입니다. 문제가 발생했습니다. 데이터를 백그라운드로 다시 동기화할 수 있습니다. 테스트는 아직 끝나지 않았으며 데이터가 분석되었으며 문제가 해결되기 시작했습니다. 전통적인 회사에서는 며칠 또는 일주일이 걸리는 작업을 우리는 아마도 한 시간 안에 완료할 수 있습니다.
데이터 축적 측면에서 이상적인 사용자의 자율주행 총 주행거리는 20억km를 초과했으며, 그 중 거의 10억km가 NOA에 의해 주행되었습니다. 테슬라는 일찍부터 해냈고, 더 많은 고객을 보유하고 있으며, 더 긴 주행거리를 보유하고 있습니다.
"나중에": 이것은 Li Xiang의 주장입니까, 아니면 귀하의 주장입니까?
Lang Xianpeng: 우리는 만장일치입니다. 2018년 Ideal for an 인터뷰에 왔을 때 Li Xiang은 L4를 최종적으로 실현하기 위해 해결해야 할 주요 문제가 무엇인지 물었습니다. 나는 데이터라고 말합니다. 데이터 폐쇄 루프 시스템이 없으면 샘플이든 질문이든 분석 효율성이 높지 않습니다. 사람이 채굴을 할 수도 있고 알고리즘을 개발할 수도 있지만, 데이터 문제가 해결되지 않으면 분명 잘 되지 않을 것입니다.
"나중에": Weilai는 얼마 전 엔드투엔드 AEB를 대량 생산했습니다. 각 회사의 엔드 투 엔드 차이점은 무엇입니까?
Jia Peng: Xpeng 5.2의 현재 아키텍처는 우리가 7월에 출시한 Wutu와 유사합니다. 인식이 모델이고, 의사결정이 모델이며, 중간에 연결되어 있습니다. 화웨이가 출시한 ADS 3.0도 엔드투엔드(end-to-end)로 세분화됐다.
Tesla는 인식부터 의사결정까지의 모델입니다. 최신 버전은 인식과 의사결정을 하나의 모델로 통합했으며 이번 주에 수천 명의 사람들을 대상으로 테스트를 시작했습니다.
"늦은": 하나의 인식 및 의사 결정 모델의 엔드 투 엔드와 분할된 엔드 투 엔드의 차이점은 무엇입니까? 앞서는 사람은 누구입니까?
Lang Xianpeng: 여전히 목표에 따라 다릅니다. 분할 모델은 L2+ 수준 보조 운전에 더 적합한 반면, 한 모델은 실제로 L3 및 L4 수준 자율 주행을 수행할 수 있습니다.
왜냐하면 분할된 엔드투엔드가 의사결정 모듈 내부의 일부 규칙을 데이터 기반 규칙으로 대체했지만 전체 프로세스에는 여전히 규칙이 존재하기 때문입니다. 이는 이전의 지능형 주행 아키텍처 및 연구 개발과 본질적으로 유사합니다. 프로세스도 유사하며 여전히 모듈로 구분됩니다. 하나의 모델에는 어떠한 규칙도 포함되어 있지 않습니다. 센서 데이터가 들어오고 계획된 궤적이 나오는 것은 순전히 데이터 중심입니다.
"Later": 엔드투엔드의 가장 큰 가치가 무엇인지 한 문장으로 설명해주실 수 있나요?
Jia Peng: 사용자 관점에서 볼 때 운전 행동이 더욱 인간과 유사해지고 세부적인 제어가 더욱 부드러워졌습니다. 연구 개발 관점에서 보면 반복이 더 효율적입니다.
Lang Xianpeng: 엔드투엔드(End-to-End)는 자율주행을 위해 순수 데이터를 사용한 최초의 기술입니다. 연구 개발 방식은 기능과 시나리오에서 시작하여 시스템 성능을 향상시키는 방향으로 바뀌었습니다. 시스템이 계속해서 강화되는 한 기대 이상의 성능을 발휘할 것입니다.
"늦음": 더 짧은 시간에 더 똑똑한 모델을 훈련하는 방법은 무엇입니까?
Jia Peng: 데이터, 특히 고품질 데이터는 매우 중요합니다. 우리는 80만 명의 자동차 소유자로부터 얻은 200억 킬로미터의 데이터에서 최고의 데이터를 선별하고, 100만 킬로미터 이상의 데이터를 훈련했으며, 연말까지 500만 킬로미터를 초과했습니다.
두 번째는 모방 학습을 기반으로 강화 학습을 추가하여 모델에 무엇이 잘못되었는지 알려주는 학습 방법입니다.
Lang Xianpeng: 마지막은 컴퓨팅 성능입니다. 이상적인 GPU는 A100 및 A800 5,000에 해당하는 컴퓨팅 성능을 갖습니다. 카드를 빌리면 연간 10억 달러의 비용이 들며, 이를 뒷받침하려면 건전한 수익이 필요합니다.
'나중에': 데이터가 있기 때문에 따라잡을 수 있다고 거듭 강조했는데, 이번 주 허샤오펑은 자율주행이 가능하려면 "자동차도 많고 데이터도 많다고 하면"이라고 말했다. "믿지 마세요. 말도 안되는 소리입니다."
Lang Xianpeng: 우리는 또한 모든 사람이 제품을 객관적으로 취급할 수 있기를 바랍니다. 하지만 우리는 아직도 에디슨과 테슬라가 직류가 좋은지, 교류가 좋은지 증명하던 시대에 살고 있습니다. 한 사람은 감전을 위해 교류를 사용했고, 다른 사람은 교류를 사용해 인체에 통과해도 괜찮다는 것을 증명했습니다.
'나중에': 테슬라가 가장 많은 데이터와 컴퓨팅 파워에 대한 가장 큰 투자를 하고 있다는 것은 능가할 수 없다는 뜻인가?
Jia Peng: Tesla의 현재 한계는 하드웨어입니다. 왜냐하면 HW 3.0(Tesla의 3세대 지능형 주행 하드웨어)의 컴퓨팅 성능은 144 TOPS이고, 지원할 수 있는 모델 매개변수는 너무 많은 데이터를 추가해도 특별히 크지 않을 것이기 때문입니다." 치명적인 망각”. V12.4 업데이트 이후 빈 장면이 무작위로 차선을 변경하기 시작하는 등 일부 장면은 좋아진 반면, 일부 장면은 더 나빠진 이유도 바로 여기에 있습니다.
"나중에": 하지만 다른 관점에서 보면 FSD는 2018년에 출시된 HW 3.0에서 원활하게 실행될 수 있으며 이는 Tesla가 소프트웨어와 하드웨어를 결합하는 강력한 능력을 가지고 있음을 보여줍니다.
Jia Peng: 정말 강해요. 하지만 FSD가 중국에 진출하기에는 어려움이 있다고 생각합니다. 첫째, 미국의 대부분의 도로는 상대적으로 단순합니다. 둘째, Tesla는 중국에서는 얻을 수 없는 도로 지형 정보를 미국에서 얻을 수 있습니다. 따라서 FSD는 실제로 라이트 맵이고 우리는 사전 맵 정보 없이 실제로 맵이 없습니다.
"늦게": 올해 7월 Tesla와 Xpeng에서 근무한 Gu Junli 박사는 "Tesla의 연구 개발 진행 상황은 국내 스마트 운전보다 1.5~2년 앞선다"고 말했습니다. 동의하시나요?
Lang Xianpeng: 동의하지 않습니다.
그림에 없는 버전은 규칙의 상한을 나타냅니다. 엔드 투 엔드는 데이터 기반의 상한선을 나타내며 여기에는 규칙이 없고 모델만 있습니다. 하지만 자율주행은 아직 롱테일 문제를 해결하는 단계이고, 이전에 겪어보지 못한 상황을 처리할 수 없기 때문에 사진과 엔드투엔드 없이는 달성될 수 없습니다. L4에 도달하려면 시스템은 알려지지 않은 시나리오를 처리하는 방법을 배워야 합니다. 우리는 이 기능이 엔드투엔드가 아닌 VLM으로 해결되어야 한다고 믿습니다.
따라서 우리의 새로운 아키텍처는 엔드투엔드 + VLM입니다. 전자는 빠른 대응이 필요한 대부분의 운전 시나리오를 처리하는 시스템 1이고, 후자는 느린 사고와 장기적인 의사 결정을 위한 시스템 2입니다. 보이지 않는 불규칙한 신호등, 다양한 형태의 갯벌 표시, 학교 주변 지형지물 등 알 수 없는 상황에 대처할 수 있는 상식을 익히고, 차량에 진입하거나 감속할 수 없음을 미리 알려줍니다.
시스템 1 + 시스템 2, 이상적으로는 이 아키텍처를 가장 먼저 구축하는 것입니다.
Jia Peng: 공개 정보에 따르면 Tesla의 현재 기술 아키텍처에는 VLM이 없습니다.
'늦게': 엔비디아와 소프트뱅크가 투자한 영국 자율주행 기업 웨이브(Wayve)는 올해 4월 링고(Lingo)-2를 출시했다. 차량에 대형 언어 모델도 추가됐다.
Lang Xianpeng: 시스템 1이 없습니다. Wayve의 Lingo-2 및 클라우드 모델은 VLM과 유사한 다중 모드 대형 언어 모델입니다. 아이디어는 모델이 시스템 1과 시스템 2를 해결한다는 것입니다. 그러나 대량 생산 과정에서 Orin의 컴퓨팅 성능이 존재하며 System 2의 대형 모델을 지원할 수 없다는 사실이 발견됩니다. 웨이브가 이렇게 할 수 있는 이유는 양산형 차량이 아니고 Lingo-2를 실행하기 위해서는 차량 후면에 서버가 있어야 하기 때문입니다.
Jia Peng: 우리의 초기 영감은 VLA(Visual-Language-action) 모델인 Google의 로봇 시스템 RT-1 및 RT-2에서 영감을 얻었으며 최종 동작도 모델에 의해 출력됩니다. 이것이 최종 단계일 수 있습니다. 내 하드웨어가 충분하다면 이론적으로 VLA를 실시간으로 실행할 수 있습니다.
"나중에": 그렇다면 영감은 자동차 산업이 아니라 로봇공학에서 나왔다는 겁니까?
Lang Xianpeng: 우리는 자율주행을 인공지능의 전형적인 응용으로 여기기 때문입니다. 이 이중 시스템 솔루션은 실제로 자동차의 자율 주행과 로봇의 지능형 로봇인 보편적 구현 지능 아키텍처를 제안합니다.
"Late": 당신이 제안한 "end-to-end + VLM" 아키텍처는 전자는 Tesla에서 영감을 얻었고 후자는 Google RT에서 영감을 얻었으며 VLM 논문은 Tsinghua University와의 공동 작업입니다. 현 단계에서는 조합 혁신에 좀 더 익숙해졌다는 뜻인가요?
랑셴펑(Lang Xianpeng): 칭화대 자오싱(趙興) 교수와 협력할 때 의견이 충돌했는데, 그 의견을 제안한 사람이 아니라 우리가 실행한 거죠.
"나중에": 자율 주행을 보편적 구현 지능의 일부로 간주하시나요? 여기에도 스케일링 법칙이 있나요? 그리고 스케일링 법칙을 믿나요?
Lang Xianpeng: 매개 변수가 제한되어 있고 수천만 개의 데이터가 채워질 수 있으며 더 많은 데이터를 추가하면 잊혀지기 시작할 수 있기 때문에 엔드투엔드 확장 법칙은 특별히 명확하지 않습니다. 이미 Tesla FSD V12.4에서 이 현상을 확인했습니다.
그러나 VLM의 스케일링 법칙은 확실히 존재하며 수백억 또는 수천억 개의 매개변수를 달성할 수 있습니다. 데이터가 충분하고 매개변수가 충분히 크면 성능이 향상됩니다. 이 길은 우리에게 매우 매력적이다.
"늦음": VLM이 충분히 빠르게 실행될 수 있고 자동차의 대기 시간이 충분히 낮다면 시스템 1이 필요하지 않습니까?
Jia Peng: 이론적으로는 그렇습니다. 이제 우리의 VLM은 자동차에서 3.4HZ를 달성할 수 있습니다. (참고: HZ는 단위 시간당 발생하는 주기적 이벤트 수입니다. 값이 클수록 지연이 작아집니다.) 매개변수가 2.2B(22억)개인 모델입니다. 엔드투엔드를 대체하려면 인간의 반응 속도인 100~200밀리초의 지연에 해당하는 10HZ 이상으로 실행해야 합니다. 특정 시나리오에는 AEB(긴급 제동)와 같은 대기 시간 요구 사항이 더 높습니다.
"나중에": 이 구조는 얼마나 독특합니까? Huawei는 System 1과 2에 대해서도 이야기하고 있습니다. Xiaopeng의 "Large Language Model XBrain"도 알려지지 않은 시나리오를 다루고 있습니다.
Lang Xianpeng: 우리는 업계 최초로 듀얼 시스템을 제안했으며, 우리의 VLM은 대량 생산된 차량용 칩 Orin X에 배포되었습니다. 다른 회사의 이전 유사한 시도는 산업용 컴퓨터에 있었습니다.
단일 모델 엔드투엔드이든 VLM이든 관계없이 이 아키텍처는 수천 명의 사람들에게 제공되었으며 테스트되고 있습니다.
"나중에": 클라우드 세계 모델을 작업 중이라고 언급하셨는데, 이것이 전체 아키텍처에서 어떤 역할을 합니까?
Jia Peng: 이것이 우리의 시스템입니다 3. 클라우드 세계 모델은 두 가지 작업을 수행합니다. 첫째, VLM은 클라우드 세계 모델에서 추출할 수 있습니다. 이는 먼저 최근 Meta에서 출시한 400B 매개변수 Lamma 3.1과 같은 매우 큰 모델을 클라우드에서 훈련한 다음 이를 증류하는 것입니다. 8B 모델을 처음부터 훈련시키는 것보다 더 효과적입니다.
둘째, 월드 모델은 시스템 1과 시스템 2의 기능을 검사할 수 있습니다. 엔드투엔드 맵리스 테스트를 수행하는 과정에서 전국적인 검증이 매우 어렵다는 사실을 발견했으며, 이전에는 테스트할 인력만 배치할 수 있었습니다.
"늦음": Tesla는 또한 세계 모델을 개발 중입니다. 하지만 업계에 그렇게 많은 세계 모델이 필요한 걸까요? 결국 우리에게는 세상이 하나밖에 없습니다.
랑셴펑: 0에서 1로 가는 과정에서 수많은 루트와 시도가 있을 것이다. 마치 전기 자동차 브랜드가 그렇게 많이 필요하지 않지만 피크 시간대에는 수백 개가 있는 것과 같습니다.
"나중에": 업계에서는 이전에 중국의 스마트 드라이빙 순위가 Huawei, Momenta, Xpeng 및 Ideal이라고 믿었습니다. 이 순위는 언제 다시 작성됩니까? 그리고 스마트 드라이빙 순위를 바꿀 다음 포인트는 무엇일까?
Lang Xianpeng: 다시 작성되었습니다. 앞으로 각 팀은 무인지대에 갈 것입니다. Wutu가 문제를 해결하고 전국적으로 개통할 수 있고, End-to-End로 전국이 잘 개통될 수 있게 된다면 다음 단계는 L4입니다.
L4를 대량생산하려면? 처음에는 백 송이의 꽃이 피다가 나중에는 수렴될 것입니다. 하지만 모두가 같은 출발선으로 돌아가지는 않을 것이다. 데이터와 컴퓨팅 능력의 격차는 점점 더 벌어질 것이기 때문이다.
이상적이고 지능적인 운전을 위한 6대 핵심 전투 검토
"나중에": 전투 이름을 잘 짓는다고 들었습니다.
Lang Xianpeng: 우리는 이름 지정을 진지하게 생각합니다.
스마트 드라이빙 팀은 첫 번째 전투는 프로젝트 아크로폴리스(Project Acropolis), 그 다음 프로젝트 일리아드(Project Iliad), 프로젝트 오디세이(Project Odyssey), 그 다음은 프로젝트 타이탄(Project Titan), 프로젝트 골든 애플(Project Golden Apple), 그리고 타이탄 전투(Battle of the New God)였습니다. 고대 신들을 물리쳤습니다. 이제 엔드투엔드 프로젝트인 현재의 다모클레스 프로젝트로 넘어가겠습니다. 이 프로젝트는 어렵고 위험합니다. 제대로 수행되지 않으면 다모클레스의 검이 무너집니다.
"Late": 각 전투에서 가장 큰 도전과 보상은 무엇입니까?
랑 셴펑:
"나중에": 다른 회사에서는 4각 밀리미터파 레이더를 제거하지 않았습니다. 제거 후 시스템 보안에 미치는 영향을 고려했습니까?
Lang Xianpeng: 우리는 두 가지 이유로 밀리미터파 레이더를 제거했습니다. 하나는 당시 Bosch Corner 레이더 칩 공급이 중단되었기 때문에 선택을 해야 했습니다. 레이더를 비전으로 교체하거나 제공하지 못합니다. 두 번째는 기술 선택입니다. 당시 Tesla는 순수한 시각적 솔루션을 채택하기를 원했으며 주변 환경을 인식하는 인간의 능력에 더 가깝습니다. 차체에 각밀리미터파 레이더와 시각 센서가 모두 있고 둘 사이에 차이가 있는 경우 이를 판단하려면 사람이 작성한 규칙 논리를 사용해야 하며 오류가 필연적으로 발생합니다.
또 다른 추가적인 이점은 이 기술이 비용을 줄여 약 5억 달러를 절약한다는 것입니다.
그러나 각도 밀리미터파 레이더를 대체하기 위해 여러 대의 카메라를 사용하는 것은 매우 어렵고 위험합니다. 우리는 많은 테스트를 수행했으며 최종 결과는 각도 레이더보다 정확도와 성공률이 약간 높다는 것입니다.
"나중에": 이전에 리소스 부족 문제를 언급하셨습니다. 이제 이 문제가 해결되었나요?
Lang Xianpeng: 지난 9월 가을 전략 회의에서 우리는 '3대 전략'을 제안했습니다. 첫 번째 전략은 지능형 운전 전략입니다. 그래서 하반기부터 많은 인원을 모집하기 시작했습니다. 회사의 요구 사항과 기대도 높아졌습니다. 100개 도시이든 다른 도시이든 상위 계층을 따라잡아야 합니다.
"나중에": 그럼 이전에는 스마트 드라이빙이 이상적인 핵심 전략이 아니었나요?
Lang Xianpeng: 이번에는 공식적으로 분명해졌습니다.
"나중에": 스마트 드라이빙이 제품 판매에 미치는 영향이 커지고, 화웨이와 거리가 벌어지고 있다는 사실을 깨닫고 있기 때문인가요?
Jia Peng: 네, 2023년 가을 전략은 우리가 올해 스마트 드라이빙의 절대적인 리더가 될 것이라고 결정할 것입니다. 왜냐하면 우리는 전체 업계의 자동차 구매 논리가 먼저 스마트 드라이빙이 될 것이라고 판단하기 때문입니다.
"나중에": 여섯 번의 전투에서 무엇을 얻었습니까?
Lang Xianpeng: 이기고 싶다면 어떻게 이겨야 할지 생각해야 합니다. 즉, 목적을 염두에 두고 시작하여 필요성을 찾고, 문제를 해결하기 위해 무엇을 해야 하는지 파악하는 것입니다. 각도 제거 레이더 및 NPN 차단 맵이 그 예입니다.
"늦게": 이상의 출발점은 경쟁에 기초한 것이 아닌가? 예를 들어, 작년의 100개 도시 프로젝트 경주.
Lang Xianpeng: 화웨이가 지난해 전국적으로 공개할 수 있는 ADS(화웨이의 무이미지 NOA 솔루션)를 출시하겠다고 발표한 후 경쟁을 지나치게 강조하고 인수율 등 화웨이의 일부 지표를 벤치마킹했지만 이 역시 사용자 경험을 무시한 것입니다. 이번 봄에 전략 회의에서 모두가 비난했던 사건.
이후 모든 제품의 승인과 배송은 사용자 평가를 바탕으로 이루어져야 한다는 점을 반영했습니다.
"나중에": 오늘날의 치열한 경쟁에 대처하기 위해 스마트 드라이빙 R&D 및 제품 조직을 어떻게 설계합니까?
Lang Xianpeng: 우리의 지능형 운전은 수평적, 수직적 조직입니다. 저는 수직적 사업 부서를 책임지고 연구 개발과 납품을 담당하고 있습니다. 하지만 외부 경쟁 벤치마킹, R&D 자원 투자 등 최종 제품의 구성과 실행, 운영은 모두 지능형 주행 PDT(제품개발팀, 다기능 제품 개발팀)에서 담당한다.
일부 인재 전략 및 계획 수립에 참여하겠습니다. 계획이 확정되면 이를 확고히 이행하겠습니다.
'늦게': 지난 가을, 아이디얼이 대규모 채용을 했고, 스마트 드라이빙팀도 700명 이상에서 올해 5월 200~300명 이상으로 늘었고, 6월에는 인력을 추가로 해고했다. 주요 직책에 있는 일부 직원을 소환했습니다. 채용부터 해고까지, 그리고 단기간 내에 직원을 불러온다는 것은 무엇을 의미합니까?
Lang Xianpeng: 핵심은 기술 반복입니다. 과거 스마트 드라이빙 시스템에는 수동 프로그래밍, 진행 관리, 테스트 등을 요구하는 규칙이 많았다. 그러나 엔드투엔드(end-to-end)는 AI 모델에 더 중점을 두며 위에서 언급한 위치가 크게 감소했습니다. 나중에 대부분 비즈니스 요구에 따른 조정을 바탕으로 몇몇 사람이 리콜되었습니다. 실제로 Tesla의 지능형 운전팀은 항상 200~300명으로 구성되어 있으며 세계 최대의 자율주행 차량을 납품해 왔습니다.
"늦은": Tesla의 엔드 투 엔드는 인도 기술자 Dhaval Shroff가 내부적으로 처음 제안하고 상향식으로 채택했습니다. 이상적인 R&D 조직은 상향식 혁신을 위한 기반을 갖추고 있습니까?
Lang Xianpeng: 사실 VLM에 대한 이러한 아이디어는 사전 연구 및 R&D 팀에서 나왔습니다. 우리는 그러한 이중 시스템을 일찍부터 계획하지 않았습니다.
"나중에": 인재 풀을 어떻게 평가하시겠습니까? Xiaopeng 이전에는 Wu Xinzhou가 있었고 Weilai에는 Ren Shaoqing이있었습니다. 어떤 사람들은 이상적인 스마트 드라이빙 팀에는 항상 그러한 기술 전문가가 부족하다고 생각합니다.
Lang Xianpeng: 이 수준에서는 기술적 능력과 결과를 얻는 능력이 모두 중요합니다. 저와 Jia Peng, Wang Jiajia를 포함한 많은 기술 리더들은 2014년 또는 2015년에 자율 주행에 관한 작업을 진행해 왔습니다. 우리의 신입생도 상대적으로 강합니다. 올해 200명 이상의 신입생은 대부분 QS100(영국 QS 세계 대학 순위)에서 상위 50위 안에 들었습니다. 그리고 우리는 인재 성장의 기반이 되는 컴퓨팅 능력과 데이터 보유량을 보유하고 있습니다.
"나중에": 스마트 드라이빙 분야에 아주 일찍 입문하셨지만, 처음에는 스마트 드라이빙 자체가 아닌 바이두에서 지도 관련 알고리즘을 연구하셨습니다.
Lang Xianpeng: Baidu의 경험은 매우 중요합니다. 그 경험 덕분에 경영에 있어서 어떤 것도 두렵지 않게 됐고, 올바른 방법을 찾으면 더 짧은 시간 안에 더 나은 결과를 얻을 수 있다고 믿었습니다.
바이두에서의 첫 번째 프로젝트는 주기가 매우 빡빡하다는 점에서 아이디얼의 1세대 자체 연구와 유사했습니다. 저는 2013년 4월 말에 바이두에 합류했고, 4개월 후 바이두 컨퍼런스에서 스트리트 뷰 프로젝트가 시작될 예정입니다. 처음에는 이 팀에 4명밖에 없었는데, 드디어 컨퍼런스 전날 자정에 발사를 완료했습니다.
여기에는 두 개의 열쇠가 있습니다. 하나는 새로운 기술을 사용하는 것입니다. 거리 장면을 촬영할 때는 번호판과 얼굴을 흐리게 처리해야 했습니다. 당시의 기존 방법은 수동으로 수행하는 것이었지만 우리는 더 빠르고 정확하며 많은 사람을 절약할 수 있는 시각적 알고리즘을 사용했습니다. 다른 하나는 데이터입니다. 이 알고리즘에 대해 우리는 원래 Baidu IDL의 Yu Kai(이후 Horizon 창립자) 및 Ni Kai(이후 Heduo 창립자) 팀과 협력하기를 원했지만 이 시나리오에서는 그들의 알고리즘의 정확도가 86%에 불과했습니다. 번호판을 99%, 97%의 얼굴로 만들었습니다. 핵심은 수만 개의 데이터를 표시했다는 것입니다.
알고리즘적으로 우리는 확실히 그들만큼 좋지 않습니다. 그들은 세계 최고의 알고리즘을 가진 사람들입니다. 그러나 이는 장면 데이터 측면에서 보면 80~90포인트의 차이일 뿐이며 훨씬 더 많습니다. 그래서 나중에 인터뷰에서 Li는 나에게 자율주행을 해결하는 데 가장 중요한 문제가 무엇인지 묻고 싶었습니다. 나는 데이터라고 말하고 싶습니다.
"나중에": 지난 몇 년 동안 많은 사람들이 압박감을 견디지 못하거나 자신의 이상이 달성될 수 있다는 믿음을 갖지 못해 떠나는 것을 선택했습니다. 왜 결국 머물게 되었나요?
Lang Xianpeng: 우리 그룹은 단지 L4가 실현되기를 원하며 이는 이상적으로만 이루어질 수 있다고 생각합니다.
Jia Peng: Ideal에 오기 전에 저는 NVIDIA에 5년 동안 머물렀습니다. 엔드투엔드 모델이든 대형 모델이든 NVIDIA가 가장 먼저 제안했지만 당시에는 구현되지 않았습니다. 자동차 회사에 입사하게 되면서 마침내 자율주행을 폐쇄 루프로 만들 수 있는 기회가 생겼는데, 정말 좋은 일이죠.
타이틀 사진 출처 : "Genius Gunner"
