汽車自動駕駛算法行業市場分析

1、自動駕駛一一數據驅動下的算法迭代

1.1、自動駕駛算法是感知、預測、規劃、控制的結合體

自動駕駛算法反應了工程師們根據人的思維模式，對自動駕駛所需處

理過程的思考，通常包含感知、預測、規劃模塊，同時輔助一些地圖、

定位等模塊，實現自動駕駛功能的落地。

感知：感知外部世界

感知模塊主要解決四類任務：（1）檢測：找出物體在環境中的位置；

（2）分類：明確對象是什么，如分辨不同類別交通標志；（3）跟蹤：

隨著時間的推移觀察移動物體，通常采用跨幀追蹤對象（將不同幀中

檢測到的對象進行匹配）、BEV加入時序信息等實現；（4）語義分

割：將圖像中的每個像素與語義類別匹配，如道路、天空、汽車等,

用于盡可能詳細了解環境。以Apollo感知算法框架為例，其算法包

含預處理、神經網絡模型、后處理等模塊。首先圖像預處理主要是對

圖像進行調整、畸變校正等，使之更符合機器學習的要求。其次分別

對紅綠燈、車道線、障礙物等特征進行檢測，其中紅綠燈通過檢測邊

框、顏色等進行進一步的識別；障礙物則經過2D到3D的轉換，得

出真實的信息坐標，再融合車道線檢測信息、外部傳感器信息等得出

真實世界的障礙物信息。該部分通常采用全卷積神經網絡或者YOLO

等算法實現。

1.1.2.預測：理解外部環境和當前狀態

預測模塊實際上是算法對外部環境和自車狀態的理解。預測模塊首先

收集感知模塊輸入的車道線、障礙物、紅綠燈、地圖、定位等信息對

主車的狀況進行判斷。其次場景感知模塊對外部障礙物的優先級、路

權等外部環境對主車的影響進行感知。評估器則會根據場景信息和障

礙物信息判斷出障礙物的軌跡或意圖。預測器則根據短期的預測軌跡

和意圖判斷障礙物等外部環境相對長期的軌跡。這將為未來汽車的規

劃提供重要的參考。算法層面通常以RNN為主。

圖3:百度Apollo的算法中，預測模塊包含場景理解、評估、預測等環節

感際信息容濤場景感際評估涔預測涔

埼票管理!-

逐ffl

1.1.3、規劃：思考如何行動

規劃指找到合理路徑來到達目的地。規劃通常分為全局路徑規劃、行

為規劃與運動規劃幾個部分。其中，全局路徑規劃指智能汽車依靠地

圖規劃出理想狀態下到達目的地的路徑。行為規劃則是主車在實際行

駛的過程中，面臨實時的交通環境，做出的各類駕駛行為，如跟車、

換道、避讓等。運動規劃生成與駕駛行為對應的駕駛軌跡，包含路徑

規劃和速度規劃。最后再采用一些優化方式讓變道加速等行為變得平

順以滿足舒適性要求。算法層面，通常采用基于規則的規劃決策算法,

前沿的玩家也開始引入機器學習等方式，以提升決策效能。

1.2、數據：算法的養料，現實與虛擬的交織

算法、算力和數據是人工智能的三大要素，數據在模型訓練中擁有不

可忽視的影響。一方面，Transformer等大模型在大體量數據集訓練

下才能表現更佳的特性帶來其對訓練端數據的要求激增，特斯拉在

2022年AIDAY上曾表示,訓練其占用網絡采用了14億幀圖像數據。

另一方面，由于自動駕駛面臨的場景紛繁復雜，諸多長尾問題需要在

現實或虛擬場景中獲取。因此數據閉環在自動駕駛領域彌足重要。毫

末智行將數據作為“自動駕駛能力函數”的自變量，認為是決定能力發

展的關鍵，Momenta也曾表示，L4要實現規?；?，至少要做到人類

司機的安全水平，最好比人類司機水平高一個數量級，因此需要至少

千億公里的測試，解決百萬長尾問題。

數據挖掘和針對性的訓練能顯著減少CornerCaseo以特斯拉為例，

在面臨一個看起來像臨時停車但實際上是永久停車的場景時，最初算

法會將其判定為臨時停車。當特斯拉通過數據挖掘在訓練集中增加了

1.4萬個類似場景的視頻并訓練模型后，神經網絡便理解了這輛車里

面沒有司機，將其判別為永久停車。

2、大模型橫空出世，自動駕駛奇點來臨

早期自動駕駛方案采用激光雷達+高精度地圖為主。早期市場以傳統

計算機視覺和專家系統為基礎構建輔助駕駛功能，隨后人工智能的蓬

勃發展讓深度學習在自動駕駛領域被廣泛使用，以waymo為代表的

自動駕駛先驅玩家開創了激光雷達+高精度地圖的感知范式，Cruise.

白度等巨頭紛紛效仿。該方案中，對道路結構、車道線等靜態環境元

素的感知強依賴高精度地圖，而實時的動靜態障礙物信息則強依賴激

光雷達。高精地圖成為一項“基礎設施”，將很多在線難以解決的問題

提前存儲到地圖數據中，行車時作為一項重要的感知數據來源，減輕

傳感器和控制器的壓力。由于該方案只能在有圖地區行駛，也被一些

人形象的稱為“有軌電車，

高昂的單車成本和高精度地圖成為自動駕駛大規模推廣瓶頸。

Robotaxi成本高昂（Yole統計早期Waymo為代表的的自動駕駛汽

車改裝成本約為20萬美元），高精度地圖采集制作以及合規要求繁

雜（量產落地過程中，高精度地圖面臨：采集成本高；人工修圖制圖

費時費力；地圖鮮度不足；國內法規嚴格等困難），帶來該方案的泛

化性較差。經過數十年的發展，Robotaxi的使用范圍仍被限制在特

定區域，使用對象也僅局限在商用車領域。市場亟待出現一種單車性

能強大、成本低廉的自動駕駛解決方案。

2.1.BEV+Transformer橫空出世，大模型推動自動駕駛邁向普及

2021年特斯拉推出BEV+transformer、重感知輕地圖的自動駕駛解

決方案，開啟了自動駕駛行業新的篇章。

2.1.1、BEV感知助力成為感知外部世界標準范式

BEV全稱為Bird'sEye-View（鳥瞰圖），即通過神經網絡將各個攝

像頭和傳感器獲取的信息進行融合，生成基于俯視的“上帝視角”的鳥

瞰圖，同時加入時序信息，動態的對周邊環境進行感知輸出，便于后

續預測規劃模塊使用。正如人類一樣，駕駛行為需要將各處觀察到的

信息綜合到統一的空間中，來判別什么地方是可以行駛的區域。究其

原因，駕駛行為是在3D空間中的行為，而鳥瞰圖則是將2D的透視

空間圖像轉換為3D空間，不存在距離尺度問題和遮擋問題，使得算

法可以直觀的判斷車輛在空間中的位置以及與其他障礙物之間的關

系。

2.1.2、Transformer大模型為構建BEV空間提供最優解

2021年特斯拉在AIDay上第一次將BEV+transformer的算法形式引

入到自動駕駛，開啟了自動駕駛的嶄新時代。首先BEV空間的構建，

實際上就是尋找一種恰當的方式，將多個2D的圖像和傳感器信息綜

合轉化成為一個3D的向量空間。經過多次嘗試，特斯拉最終引入了

Transformer大模型來實現這一轉換。Transformer大模型是近年人

工智能領域的熱門算法，其主要通過注意力機制來分析關注元素之間

的關系進而理解外部世界。早年被應用于自然語言處理領域，后續延

展到計算機視覺等多個方向。算法的優勢顯著：

具有更好的全局信息感知能力：Transformer模型更關注圖像特征之

間的關系，因此會跟多關注整個圖像的信息，卷積神經網絡更多關注

固定大小區域的局部信息，因此Transformer在面對圖像中長程依賴

性的問題擁有更好的表現。

天花板高企適用于大規模數據訓練場景：在圖像識別能力方面，

Transformer擁有更高的上限，隨著訓練數據量的增長，傳統CNN

模型識別能力呈現飽和態勢，而Transformer則在數據量越大的情況

下擁有更好的表現。而自動駕駛洽洽為面向海量的數據場景，要求有

足夠好的精度的場景。

擁有多模態感知能力：Transformer可實現多模態數據的處理，應對

圖像分類、目標檢測、圖像分割功能，并實現對3D點云、圖像等數

據的融合處理。

靈活、較好的泛化性能:Transformer可適用于不同大小的輸入圖像，

同時外部環境包含擾動的情況下仍能保持較好的檢測性能。

但CNN網絡在提取底層特征和視覺結構方面有比較大的優勢，而在

高層級的視覺語義理解方面，需要判別這些特征和結構之間的如何關

聯而形成一個整體的物體，采用Transformer更加自然和有效。同時

CNN也擁有更好的效率，可以采用更低的算力實現效果。因此業界

通常會將CNN和Transformer結合來進行物體識別。

2.1.3.特斯拉引領打開自動駕駛天花板

特斯拉的自動駕駛算法結構中，首先將攝像頭信息無損采集，送入卷

積神經網絡Regnet來提取不同尺度的圖像特征，接著使用BiFPN進

行特征融合，然后將這些特征送入Transformer模塊，利用

Transformer中的多頭注意力機制來實現2D圖像特征到三維向量空

間的轉換和多攝像頭特征系信息的融合，之后接入不同的“頭”如交通

標志檢測、障礙物檢測等，來實現不同任務的處落地，形成一套優雅

的，可完美實現數據驅動的感知算法。由十不同的“頭”之間采用了共

享的特征提取網絡，因此被特斯拉起名為‘九頭蛇”算法架構。

特斯拉的BEV+Transformer算法中兩個環節尤為關鍵：

（1）2D圖像到3D空間的轉換以及圖像融合：在2D圖像到3D向

量空間轉換的環節，特斯拉在行業內首次引入了Transformer。具體

而言，先構建一個想要輸出的三維的柵格空間，并對其進行位置編碼

成為查詢向量（Query）,然后將每個圖像和自己的特征輸出相應的

查詢鍵碼（Key）和值（Value）,最終輸入到注意力機制中輸出想

要的結果。類似于每個圖像中的特征都廣播自己是什么物體的一部分,

而每個輸出空間的位置像素像拼圖一樣，尋找對應的特征，最終構建

出希望輸出的向量空間。（Query、Key、Value分別為Transformer

算法中的參數，通過將外部世界轉化為參數而實現信息處理和任務輸

出）

（2）加入時序信息，讓算法擁有“記憶”:為了讓自動駕駛算法捱有

類似一段時間內“記憶”的能力，特斯拉在感知網絡架構中加入了時空

序列特征層。通過引入慣性導航傳感器獲取的包含速度和加速度等自

車運動的信息，算法模型可獲取時間和空間的記憶能力。具體而言，

特斯拉給算法加入特征隊列模塊(FeatureQueue),他會緩存一些

特征值(包含歷史幀的BEV特征、慣導傳感器信息等)，便于了解

車輛行動，這個序列包含時間和空間記憶。然后引入視頻模塊(Video

Module)使用空間循環神經網絡(SpatialRNN)/transformer等算

法將前述緩存的特征進行融合，關聯前后時刻信息，使得模型具有記

憶能力，讓自動駕駛汽車將?同時能夠記住上一段時間和上一段位置的

檢測信息。

圖14:杵斯拉為感知部分加入時序信息已增強其“記憶”

時序信息融合

.計征序列(存儲時序信息)

車輛運動學信息

Multi-C4m<fafusion&BEVtransform1多攝像頭融合及BEV視角轉換

2PN

共享皆干網絡提取圖像特征

2.1.4.BEV+Transformer大模型提供遠強于傳統自動駕駛算法的感

知能力

(1)改善2D-3D空間轉換過程中深度預測難點，感知性能大幅提升

弓I入BEV+Transfo「mer后，模型對于2D空間向3D空間轉換的精度

大幅提高。構建BEV模型一大重要任務是實現2D圖片到3D空間的

轉換，通常業內有四大類方式實現2D-3D視角轉換：早期通常以基

于相機內外參數（焦距、光芯、俯仰角、偏航角和地面高度）的兒何

變換的IPM（逆透視變換）實現，由于該方式基于地面純平、俯仰角

一定的假設，約束條件實現難度高；后續英偉達推出BEV行業的開

山之作LSS算法，但由于其計算量龐大以及精度仍然有限，難以支

撐BEV的真正落地；其后學界業界探索了眾多方案，包含基于神經

網絡，通過監督學習數據驅動實現BEV空間構建等方式，但深度估

計的精度均不盡人意。2021年，特斯拉首次將Transformer應用于

BEV空間的構建，在多攝像頭視角下，相比傳統感知方式，大幅提

升了感知精度，該方案推出后也迅速被業界廣泛追捧。

（2）完美實現多攝像頭、多傳感器的信息融合，極大方便后續規控

任務

BEV+Transformer實際上引入“特征級融合”（中融合）方式。通常自

動駕駛汽車擁有6-8個攝像頭以及其他多種傳感器，在感知過程中,

需要將各類傳感器的信息進行融合。傳感器融合大體可分為幾大類:

數據級融合（前融合）：直接將傳感器采集的數據如圖像和點云融合。

該方案優勢在于數據損失少，融合效果好，但時間同步、空間同步要

求達到像素級別，難度較高，需要對每個像素計算，對算力消耗大,

目前少有使用。

目標級融合（后融合）：將每個傳感器采集信息并處理后的目標進行

融合。該方案是此前自動駕駛主流采用的方案，被廣泛應用于攝像頭

之間、不同傳感器之間的信息融合。優勢在于算法簡單、解耦性好即

插即用。但也存在致命問題，由于融合前的處理損失了大量關鍵信息，

影響感知精度，融合結果容易沖突或錯誤。此外后融合中的融合算法

仍然基于規則，無法進行數據驅動，存在局限性。

特征級融合（中融合）：則將原始傳感器采集的數據經過特征提取后

再將特征向量進行融合。該方案的優勢在于，數據損失少、將目標“分

解”為特征，更容易在不同相機和傳感器之間關聯，融合效果好。在

BEV+transformer算法中實際上均采用中融合的方式。

以路過大型卡車場景為例，障礙物某個時刻在5個攝像頭中同時出現,

且每個攝像頭只能觀察到車的某個部分。傳統算法通常會分別在每個

攝像頭內完成檢測，再融合各攝像頭的結果。通過部分信息識別出卡

車整體的特征及其困難，且一旦完成物體險測，相當于“腦補”了看不

到的部分，誤差較大拼接困難，經常會識別為多個目標或漏檢。而

BEV+Transformer通過特征級融合，完美生成鳥瞰視角下的場景，

并且識別精度更高。

（3）更易融入時序信息，模型擁有“記憶”，避免遮擋等問題

感知算法中，時序融合能夠大幅提升算法連續性，對障礙物的記憶可

解決遮擋問題，更好的感知速度信息，對于道路標志的記憶可提升駕

駛安全和對汽車車輛行為預測的準確度，增強算法的可靠性和精度。

在BEV+transformer算法中，由于所有的感知被統一到3D鳥瞰圖空

間，通過將不同時間和不同位置的特征關聯可很容易的實現時序信息

的融合。如在面對遮擋場景時，帶有時序信息的自動駕駛算法感知效

果遠優于基于單幀圖像感知的算法。同時也更便于下游的規劃控制算

法實現對障礙物的追蹤。

（4）汽車擁有實時建圖能力，擺脫對高精度地圖的依賴

BEV+Transformer算法可在車端實時構建媲美高精地圖的高精度局

部地圖，能夠在任意常規道路條件下，實現自動駕駛所需的靜態場景

深刻理解，然后以此為基礎，端到端的輸出障礙物的軌跡和速度、車

道線信息等，實現復雜場景下的自動駕駛應用，而不需要依賴高精地

圖。使得算法的泛化性大幅提升，成本也大幅下降。

2.2、占用網絡提供3D世界感知，形成通用障礙物識別能力

占用網絡構建通用障礙物感知體系，提升對未知物體感知效果。直接

在矢量空間產生統一的體積占用數據，對于車子周圍任意的一個3D

位置，它預測了該位置被占用的概率，對每個位置它還會產生一定的

語義信息比如路邊、汽車、行人、或者路上的碎片等等，用不同的顏

色標出，同時觀測速度信息，形成“占用柵格”'柵格流（描述速度信

息）”+弱語義的表達形式。對特斯拉而言，即將原有Transformer算

法輸出的2DBEV+時序信息的向量空間增加高度信息，形成3DBEV+

時序信息的4D空間表達形式。網絡在FSD上每10ms運行一次，

即以100FPS的速度運行，模型檢測速度大幅提升。

占用網絡優勢顯著：(1)其改變了神經網絡算法先“認識”才能‘識別”

的特性，形成了動靜態物體統一的障礙物感知方式，可大幅減少

Cornercase,提升安全性。(2)擺脫檢測框的約束，對不規則外形

障礙物的感知能力大大增強。(3)對特斯拉來說，通用障礙物感知

能力可以復用到其他產品如機器人上，形成了統一的算法框架。

占用網絡的構建并非單獨算法上得演進，而是體系能力的提升。3D

空間的距離真值獲取實際上較為困難，即使擁有激光雷達，其稀疏的

點云信息仍然難以滿足占用網絡的訓練需求，而由于仿真環境中距離

真值信息可以直接獲取，因此占用網絡的構建幾乎和強大的仿真場景

構建相輔相成。

2.3、規控算法由基于規則邁向基于神經網，大模型開始嶄露頭角

2.3.1＞人工智能逐步滲透進入規控算法

發力安全性、舒適性和效率，規控算法成為當前頭部玩家主攻方向。

人能夠基于非常有限的感知信息完美實現駕駛行為，很大程度因為人

類擁有強大的“規控”能力。對自動駕駛而言，采取一種讓安全性、舒

適性和效率都達到最大化的駕駛策略無疑是各大廠商不懈追求的目

標。而該環節也直接決定了自動駕駛功能的消費者體驗，目前頭部玩

家已經將主攻方向轉移到規控算法領域。

a24：自動駕駛的目標：安全、仔適、效率

“擬人化”、強泛化性，人工智能推動自動駕駛“老司機'上線。規控算

法的難度較高，存在諸多非確定（如輔路與干道沒有綠化帶隔離，輔

路的車輛可隨時進入干道）、強交互（如多個物體在同一場環境下決

策會相互影響，存在一定博弈性）、強主觀（如駕駛員的駕駛風格,

很難用有限標準量化表示）的場景。同時涉及交通法規等一系列問題。

早年的算法通常采用基于專家知識和規則的模式為主，由于基于規則

的系統需要不斷補充新的規則以實現對各類環境的良好應付，日積月

累代碼量龐大，占用算力資源，且不易維護。因此依靠數據驅動的基

于人工智能的規控算法日益走向臺前。面對復雜的外部環境，人工智

能模型能夠更加平滑的以“類人”的方式對駕駛行為進行處理，泛化能

力強、舒適性好，應對復雜場景的能力大幅提升C

兼顧“安全”和“性能”，神經網絡和基于規則結合有望成為一段時期內

規控算法的主流。小鵬汽車自動駕駛負責人吳新宙曾表示，基于大數

據和深度學習的算法在規控領域的滲透會越來越深，預計未來整個框

架都將基于深度學習為基礎，但基于規則的算法也會長期存在，因為

規控算法的可解釋性很重要?；谏窠浘W絡的規控算法有諸多優勢，

但目前如訓練過程中數據的清洗、一致性；面向一些小場景特定的算

法調整；可解釋性差等問題仍客觀存在。因此諸多玩家目前仍采用以

人工智能和基于規則結合的方式來部署規控算法，制定一些規則來對

人工智能產生的行為進行兜底，實現較好的規控效果，未來隨著人工

智能能力的提升，視控算法人工智能化已經成為大勢所趨。交互搜索

+評估模型，特斯拉規控算法行止有效。在規控方面，特斯拉采月交

互搜索+評估模型的方式實現舒適、有效以及傳統搜索算法和人工智

能的結合的算法。具體如下：（1）決策樹生成：首先根據車道線、

占用網絡、障礙物等得到候選目標，生成一些候選目標；（2）軌跡

規劃：通過傳統搜索和神經網絡的方式同步構建抵達上述目標的軌跡;

（3）交互決策：預測自車以及場景中其他參與者之間的相互作用，

形成新的軌跡，經過多次評估選擇最后軌跡。在軌跡生成階段，特斯

拉采用了基于傳統搜索算法和基于神經網絡兩種形式，之后根據碰撞

檢查、舒適性分析、駕駛員接管可能性和與人的相似程度等對生成的

軌跡打分，決定走哪條路線。基于這種方式有效的將道路參與者的博

弈考慮在內，同時完美將基于規則和基于人工智能結合，呈現出強大

競爭力。

2.3.2,大模型賦能，車道線預測等復雜任務得以實現

復雜道路的車道拓普結構識別難度較高。自動駕駛車輛在行駛過程中

需要明確自車的道路情況和車道線拓撲情況，以此來決定如何規劃自

己的行駛軌跡。但當車道線模糊，或者十字路口等場景下，需要算法

自己計算出車道線情況，來指導自身的自動駕駛行為。我們看到一些

玩家針對這樣的場景做出了優化，來完美應對各類突發情況，產業算

法不斷進化和成熟。

特斯拉采用訓練語言模型的形式來訓練車道線網絡模型。車道線網絡

實際上是嫁接在感知網絡上的一個Transformer的解碼器（Decoder）。

參考自然語言處理任務中的形式，讓模型用自回歸（綜合上個環節的

結果輸出下個環節的內容）的方式輸出車道線的預測結果。具體而言，

將車道線包含節點位置、節點屬性（起點、終點、中間點等）、分叉

點、交叉點等進行編碼，形成類似語言模型中單詞的屬性，輸入

Transformer解碼器中，將信息轉化成為“車道線語言”，去生成下個

階段的結果，進而形成整個路網的車道線的拓撲結構。

理想汽車在理想家庭日上也展示了其用于增強路口性能的算法NPN

神經先驗網絡。為了解決大模型在十字路口不穩定的問題，對復雜路

口，提前進行路口的特征提取和存儲，當車輛再次行駛到路口時刻，

將過去提取好的特征和BEV感知大模型粕合，形成更加完美的感知

結果。

2.4、端到端（感知決策一體化）：大模型為自動駕駛徹底實現帶來

希望

2.4.1.回歸自動駕駛第一性原理，端到端自動駕駛成為市場遠期共

識

模塊化的自動駕駛算法設計存在諸多問題，前述文章中提到的感知、

預測、規劃等環節的算法稱為模塊化算法設計，這些方案中每個模塊

獨立負責單獨的子任務，這種方案具備簡化研發團隊分工，便于問題

回溯，易于調試迭代等優點。但由于將不同任務解耦，各個模塊之間

容易產生信息損失問題，且多個模塊間優化目標不一致，最后模塊間

產生的誤差會在模型中傳遞。端到端自動駕駛解決方案回歸自動駕駛

第一性原理。因此業界也一直在探索端到端的自動駕駛算法形式，即

設計一個算法模型，直接輸入傳感器感知的信息，輸出控制結果C端

到端的自動駕駛算法擁有非常明顯的優勢：（1）其遵循了自動駕駛

的第一性原理：即無論感知、規劃、決策模塊如何設計，最終是為了

實現更好的自動駕駛效果，因此現有的方法聚焦單獨某個模塊的優化,

對整體的效果提升未必有效。（2）端到端的方式可避免極聯誤差，

去掉冗余信息，提升視覺信息的表達。（3）傳統模塊化的算法中需

要面臨模型之間的多個編解碼環節，帶來的計算的冗余浪費。（4）

規則驅動徹底轉變為數據驅動，理想狀態下讓汽車自動駕駛模型訓練

變得簡潔。

2.4.2.工業界已經開啟探索，邁向完全自動駕駛

目前全球無論學術界還是工業界均對該方案進行了不懈探索。如英偉

達2016年即提出端到端的自動駕駛解決方案，而Uber更多次發相

關的論文探索有關算法。最新的CVPR2023上商湯、OpenDriveLab、

地平線等聯合發布的端到端的自動駕駛算法UniAD,獲得了當年的最

佳論文。其采用Transformer將感知、決策、規劃、控制模塊都融入

到一個模型中，端到端的處理自動駕駛問題，能夠呈現出最佳的運行

效果。

目前英國初創公司Wayve亦致力于開發端到端的自動駕駛系統，致

力于讓汽車通過自己的計算機視覺平臺“自己看世界”，同時可以根據

它所看到的東西做出自己的決定。馬斯克也曾在推特上表示，其

FSDV12版本將是一個端到端的自動駕駛模型。

2.4.3,大模型的思考，自動駕駛或許并非終點

通識知識和強泛化能力助力人類輕松學會駕駛。人類可以在短時間內

學會駕駛，但機器則需要海量的數據和訓練?？赡艿脑蛟谟谌祟愒?/p>

學習駕駛之前就已經充分對整個世界有了全面的認知，并可以將這些

認識泛化到各類場景下。如在學校附近應該減速、遇到老人應當小心

等，面對形狀怪異的紅綠燈人類幾乎不加思考就可理解其想表達的意

思。通識知識，強泛化能力可以對自動駕駛行為產生重大幫助。GPT

受到市場追捧，也引發了自動駕駛界對模型構建方式的思考。前文提

到的英國公司Wayve亦在嘗試構建一個世界模型，通過使用與駕駛

本身無關的數據，如一些文本數據預訓練模型進而提升模型的駕駛性

能。此外，公司亦在嘗試將自動駕駛模型和自然語言結合，讓自動駕

駛模型能夠描述自己的行為，進而增強模型的性能和可解釋性。國內

毫末智行等也在做出相應的嘗試，建立大參數的模型，并將海量駕駛

場景編碼成語料，投喂給模型進行無監督學習，接著再加入人類反饋

強化學習幫助其掌握駕駛員的行為，進而讓模型擁有接近人的自動駕

駛能力。大語言模型的風靡也讓市場對自動駕駛模型構建的方式有了

新的想象空間，DriveGPT未嘗不是一種可以嘗試的方向。

圖38:GPT帶來了業界對自動駕駛算法構建的新思考

InstructionGPT初隔唉

育?文本!!■

RLHF

■■學習

子任imiutkxi

自動偵gLearning1

魂郅&洎動駕駛的曬范式

世界模型浮上水面，面向通用場景，解決通用問題。在最新的

CVPR2023會議上，特斯拉提出了世界模型，即構建一個模型，可

觀察所有需要觀察的事物，并將其轉化為向量空間，鏈接各類豐富的

下游任務。該模型不止用于汽車，還可用于機器人等等嵌入式人工智

能場景。通過該模型可預測未來、構建仿真場景，通過語言提示，讓

它生成各類場景如直行、向右變道等。

2.5、數據端：大模型推動數據閉環和仿真落地

神經網絡只決定了算法的上限，而是否能讓神經網絡發揮其效能，數

據起到了決定性的作用，因此如何尋找純凈且多樣化的海量數據集相

比算法而言同等重要。

2.5.1＞數據閉環：自動化運行，降本增效推升規模是關鍵

完整的數據閉環系統，通經常包含數據采集、數據挖掘、數據標注、

模型訓練等環節。其對自動駕駛功能實現的重要性不言而喻，但當前

自動駕駛車型傳感器越來越高端，據dSPACE的數據，若采用4k800

萬像素的攝像頭，每秒產生的數據將達到3GB,疊加激光雷達毫米

波雷達等傳感器，整車每秒將產生的40G數據，每小時產生19Tb

數據，對整車廠的數據處理能力提出考驗。

數據采集：通常自動駕駛算法會采取一定的觸發（Trigger）機制來

開啟數據上傳。如出現人類駕駛和自動駕駛不一致的情況，或不同傳

感器之間一致性不同的情況，或者不同算法出現沖突，以及某些指定

的特殊場景如近距離跟車、加塞、光照急劇變化、陰影車道線等等。

特斯拉在2022AIDAY上表示其擁有221種觸發器。數據清洗/挖掘：

數據清洗和挖掘實際上是數據處理的過程：通常采集的數據包含大量

的無用數據，這里需要算法將訓練模型所需要的數據提取出來，以實

現有效的數據收集，同時修正部分錯誤數據。這其中對于數據處理的

“內功”要求深厚。數據標注：挖掘到有價值的數據后，需要采用人工

標注或自動標注的方式，疊加部分仿真數據，形成數據集來實現對算

法的訓練和迭代。這其中涉及2D標注、3D標注、車道線標注、語

義分割等，工作量大，同時影響著車企自動駕駛算法的迭代，是數據

閉環中的重中之重。

數據閉環收益顯著但成本不可忽視，降本增效是關鍵。數據標注方面,

據特斯拉AIDAY描述公司曾經組建了超過千人的團隊，早期通過人

工在2D圖片上進行精細標注，但效率低下；后改進為在向量空間完

成標注，再通過投影投射到8個攝像機里面，效率大幅提升；再之后

特斯拉即建立了自動標注系統，通過離線大模型實現自動標注，大幅

提升標注效率。此外特斯拉通過多車輛聯合優化等方式來提升標注的

精確度，起到了良好的效果。行業其他玩家亦開發自動標注工具以降

本增效，據小鵬汽車描述，采用自動化標注工具后，公司能夠在17

天內完成原本需要200個人年才能完成的標注任務。數據閉環方面，

特斯拉、小鵬、理想汽車均提到了各自的自動化數據閉環體系，能夠

全自動完成數據的采集、挖掘、標注、存儲等環節，大大提升模型的

訓練和迭代效率。

2.5.2.仿真：從提升效率到不可或缺

仿真是自動駕駛系統構建不可或缺的環節。將數據采集過程中的實車

數據經過聚類、場景提取、泛化與篩選，構筑用于測試的虛擬世界,

自動駕駛算法控制車輛，與虛擬世界產生交互，并將交互結果輸出，

在自動駕駛領域優勢明顯：（1）當數據極端難以獲取的時候，仿真

可以生成大量的場景供模型訓練；（2）天然帶有標注信息。當數據

難以標注的時候，如幾百萬人過馬路，標注成本極高且效率低下容易

產生錯誤，但仿真場景下不存在上述難點；（3）仿真可以給規控算

法以安全的實驗環境；（4）仿真的價格低廉，效率高。理論上完美

的仿真能夠取代實車測試，進而以較低成本達到安全測試效果，縮短

自動駕駛算法研發周期，是自動駕駛開發迭代的重要環節。

不同的算法對仿真環境的構建提出不同要求。通常自動駕駛核心算法

包括感知算法、決策規劃算法、控制算法三大環節，其中感知算法仿

真需要高還原度的三維重建場景和精準的傳感器模型；決策規劃算法

仿真需要大量的場景庫為支撐；控制算法需要引入精準的車輛動力學

模型。虛擬場景構建方面，通常需要模擬出與真實世界一致的靜態、

動態交通運行場景。靜態場景通常包含道路、車道線、減速帶、交通

標志、路燈、車站、周圍建筑等等，通常使用高精度地圖和二維重建

技術構建（通常需要回執高精度地圖并進行三維建模）；動態場景包

含動態指示設施、機動車行為、非機動車行為、行人行為、通信環境、

氣象變化、時間變化等。感知系統仿真方面，包含攝像頭仿真（生成

逼真的圖像并添加色彩和光學屬性等通常采用游戲引擎來構建，如百

度阿波羅采用Unity3D、騰訊TADSim引入了虛幻引擎）、毫米波雷

達仿真、激光雷達仿真。車輛動力學仿真方面，通?；诙囿w動力學

搭建模型，其中包含車體、懸架系統、轉向系統、制動系統、動力系

統、傳動系統等多個真實部件的車輛模型。

對仿真工具而言，其能夠覆蓋的場景范圍越大，自動駕駛可行駛邊界

就越廣泛。因此評價自動駕駛算法最重要的標準就是測試其是否能夠

處理足夠多的場景摩。通常仿真模型會以真實采集的數據、模擬數據、

以及根據真實場景合成的仿真數據為數據源，對場景的幾何形狀、物

理運動規律、以及場景中各個元素如車流、行人等符合邏輯規律，以

實現更好的仿真效果。

自動駕駛仿真平臺市場競爭激烈，促使平臺仿真性能提升。自駕仿真

平臺布局主體眾多，可以劃分為科技公司、自駕解決方案商、仿真軟

件企業、車企、高校及科研機構五大類?？萍脊緭碛写髷祿瀯荩?/p>

軟件開發經驗豐富；自駕解決方案商多針對自研發需要，較少對外提

供仿真服務；不同仿真軟件企業經驗積累程度不同，傳統企業積累深

厚，初創企業積累薄弱；車企能夠將路測和仿真測試同步結合，但限

于自身軟件開發能力，多與外部仿真平臺提供商合作進行自動駕駛汽

車開發；高校及科研機構主要對自駕仿真軟件進行前瞻、基礎性研究。

自駕仿真平臺參與者眾，市場競爭激烈，具備更快迭代速度、更強仿

真能力、更完善服務支持的仿真平臺將快速成長。

DRIVESim：Nvidia自動駕駛研發生態體系重要一環。DRIVESim是

由英偉達開發的端到端仿真平臺，能夠進行大規模多傳感器仿真。

DRIVESim功能強大，能夠提供核心模擬和渲染引擎，生成逼真的數

據流，創建各種測試環境，模擬暴雨和暴雪等各種天氣條件，以及不

同的路面和地形，還可以模擬白天不同時間的眩目強光以及晚上有限

的視野，達到“照片級逼真且物理精確”的傳感器仿真。

DRIVESim具有完善的工具鏈支持，融入英偉達自動駕駛開發生態。

DRIVESim可以在Omniverse云平臺上運行，也可以在OVX服務器

組成的本地數據中心甚至單顆RTX3090上運行。DRIVESim具有開

放式、模組化分特點，擁有良好的可拓展性：（1）支持神經重建引

擎（NER）,該AI工具可以將真實世界的數據直接帶入仿真中，開

發者可在仿真環境中修改場景、添加合成對象，并應用隨機化技術,

大大增加真實感并加快生產速度。（2）使用NVIDIAOmniverseKit

SDK,DRIVESim允許開發人員構建自定義模型、3D內容和驗證工

具，或與其他模擬進行交互。（3）支持DRIVEReplicator生成與合

成傳感器數據對應的真值數據，用于訓練芻動駕駛汽車DNNo

DRIVESim已融入英偉達完整的軟硬協同生態，支持從概念到部署的

自動駕駛汽車開發及驗證。

51Sim-0ne：本土仿真系統助力中國自動駕駛量產落地。Sim-One

是51World全棧自研的云原生仿真平臺。（1）場景方面，Sim-One

具有豐富的場景生成方式，特別是能基于語義泛化工具鏈能夠實現場

景的快速定義；與第三方場景庫達成合作，擴充場景數量，提高仿真

測試質量。（2）平臺方面，Sim-One具有豐富的功能，包括靜態和

動態數據導入、測試場景案例編輯、各類仿真、測試與回放、虛擬數

據集生成以及各類在環測試；Sim-One基于原生云架構仿真平臺，

支持大規模并發仿真技術，日測試里程可達十萬公里。（3）評價方

面，Sim-One具備豐富的指標庫可供用戶自行選擇進行評價，涵蓋

安全性、違規性、舒適性、高效性、經濟能耗性、控制準確性等多個

維度，并且支持多場景并發評價。

Al應用于仿真系統，能夠有效輔助自動駕駛系統升級。（1）在場景

庫構建方面，從傳感器數據中利用AI進行自動化、大規模三維重建，

構建現實世界對象和背景的幾何形狀、外觀和材料屬性；使用大量路

采數據訓練AgentAI,使之模仿道路場景口的主體，賦予虛擬場景強

交互性；利用已有場景庫與生成式AI,自動生成無需標注的各種交

通場景數據。（2）在車輛仿真測試過程中，使用AI識別自動駕駛系

統的弱點，并自動創建對抗性場景，同時芻駕系統使用AI算法自動

從錯誤中學習，自動迭代更新，無需密集手動調整算法，適應更快節

奏、更大規模的訓練。AI能使仿真系統更有針對性，使自動駕駛算

法調整自動化，加速自駕技術在現實世界落地。

3、自動駕駛算法變革引領產業鏈變化

3.1.兵馬未動糧草先行，云端算力軍備競賽開啟

對自動駕駛而言，大量的數據處理、訓練、自動標注、仿真等工作需

要完成，算力成為車企打造自動駕駛能力的核心，決定著車企的算法

迭代效率和上限。特斯拉表示其總算力在2024年將沖刺100EFIops,

而國內領先玩家亦不遑多讓，紛紛構建自有的數據中心，自動駕駛的

算力軍備競賽從車端蔓延到云端。

3.1.1、特斯拉自研算力平臺Dojo,2024年沖刺100EFIops算力

特斯拉在應對海量訓練和仿真需求時構建了龐大的算力體系。據特斯

拉在2021年AIDAY介紹，特斯拉為了移除自動駕駛系統對毫米波

雷達的依賴，從250萬個視頻剪輯中生成了超過100億個標簽，需

要龐大的離線神經網絡和引擎。而硬件方面，特斯拉在2021年AIDAY

期間就擁有接近1萬塊GPU,2022年AIDAY上這一數字提升到1.4

萬片，其中約50%的負載用來實現云端自動標注和車載占用網絡的

訓練。

自研D1芯片和Doj。超級計算機布局算力。為了進一步提升算力水

平,2021年起特斯拉開始自研D1人工智能芯片和Dojo超級計算機。

將25顆自研的D1芯片封裝成Dojo訓練模塊，再將120個訓練模塊

結合Dojo接口處理器等組件融合形成Dojo主機，目前10機柜的

DojoExaPOD超級計算機將擁有1.1EFlops算力，并且擁有強擴展

能力，借助特斯拉強大的軟件能力，將有效提升其在算法領域的迭代

速率。

圖60:掙斯拉算力需求將迎來快速增長

TrainedOnExtremely

LargeCompute

InUnitsOfA100GPU8TotalAmountOfTeslaCompute

400,000

300,000

200,000

100,000

0

而據特斯拉Al官方賬號顯示，特斯拉將