2025中國汽車流通行業新春啟航大會暨促消費大會大模型時代的新能源汽車自動駕駛發展趨勢演講人：鄧志東教授/博士生導師北京信息科學與技術國家研究中心清華大學計算機科學與技術系清華大學人工智能研究院視覺智能研究中心2025.2.22提綱

OUTLINES一、范式變革：基于多模態大模型的自動駕駛技術二、世界模型驅動的一段式端到端解決方案可望獲得突破三、發展趨勢：從感知智能到認知智能清華大學人工智能研究院視覺智能研究中心VisualIntelligence

ResearchCenter

(VIRC),Institute

for

ArtificialIntelligence,Tsinghua

University提綱

OUTLINES一、范式變革：基于多模態大模型的自動駕駛技術二、世界模型驅動的一段式端到端解決方案可望獲得突破三、發展趨勢：從感知智能到認知智能清華大學人工智能研究院視覺智能研究中心VisualIntelligence

ResearchCenter

(VIRC),Institute

for

ArtificialIntelligence,Tsinghua

UniversityVLA融合了感知空間與動作空間，給出了兩個空間與三大任務：兩大空間：從感知或觀察空間到動作空間，還是從動作空間到感知空間？兩個空間之間的單段式或單模型一體化相互作用；三個下游微調模型，即三大任務：具身理解、具身推理與具身動作生成大模型；基于上述三大微調模型，可優化訓練更多的下游微調模型本質上將VLM面向數字空間的理解與生成推向了面向物理世界的理解與生成！感知空間動作空間決策推理或策略1、多模態大模型推動具身智能體發展2025中國汽車流通行業新春啟航大會暨促消費大會VLM：視覺-語言（文本）模型VLA：視覺-語言-動作模型一、范式變革：基于多模態大模型的自動駕駛技術-性能增強的VLA：可望提升圖像、視頻、3D點云與語義地圖等多模態數據的語義對齊水平，從而獲得更好的交叉理解；1、多模態大模型推動具身智能體發展一、范式變革：基于多模態大模型的自動駕駛技術VLM：視覺-語言（文本）模型VLA：視覺-語言-動作模型2025中國汽車流通行業新春啟航大會暨促消費大會-性能增強的VLA：也可望改善開放場景下的實例分割與目標檢測準確率，實現更好的視覺“分詞”；1、多模態大模型推動具身智能體發展一、范式變革：基于多模態大模型的自動駕駛技術如谷歌Waymo達到99.3%VLM：視覺-語言（文本）模型VLA：視覺-語言-動作模型2025中國汽車流通行業新春啟航大會暨促消費大會-性能增強的VLA：對時空動態場景的預測，或將有效嵌入真實世界的物理學規律，從而獲得更好的避碰能力；1、多模態大模型推動具身智能體發展一、范式變革：基于多模態大模型的自動駕駛技術VLM：視覺-語言（文本）模型VLA：視覺-語言-動作模型-性能增強的VLA：通過進一步引入小腦模型，可望獲得更加精準、魯棒與細滑的行為與動作生成。一、范式變革：基于多模態大模型的自動駕駛技術1、多模態大模型推動具身智能體發展VLM：視覺-語言（文本）模型VLA：視覺-語言-動作模型2025中國汽車流通行業新春啟航大會暨促消費大會VLA的決策推理勢必面臨更大的挑戰，但卻更有研發意義與落地應用價值，包括：安全、效率、舒適度與低碳等多指標評估體系及其動態優化算法；利用推理大模型DeepSeek等的應用潛力，如完成百萬量級合成場景訓練下的決策魯棒性驗證實驗（將接管率推進到每10萬公里1-3次），將軌跡規劃的實時響應時間從傳統的150ms縮短至50ms左右。推理型大模型DeepSeek-R1及其蒸餾版系列感知空間動作空間決策推理或策略2、決策與規劃：推動構建世界模型驅動的一段式端到端智能體2025中國汽車流通行業新春啟航大會暨促消費大會一、范式變革：基于多模態大模型的自動駕駛技術提綱

OUTLINES一、范式變革：基于多模態大模型的自動駕駛技術二、世界模型驅動的一段式端到端解決方案可望獲得突破三、發展趨勢：從感知智能到認知智能清華大學人工智能研究院視覺智能研究中心VisualIntelligence

ResearchCenter

(VIRC),Institute

for

ArtificialIntelligence,Tsinghua

University二、世界模型驅動的一段式端到端解決方案可望獲得突破2025中國汽車流通行業新春啟航大會暨促消費大會-實現工業化合成數據，包括利用世界模型與世界模擬器生成百萬量級的邊緣事件時空場景，實現世界模型引擎與真實路測數據的閉環驗證，不僅獲得更加逼真的場景模擬，而且可大幅降低時空場景數據合成的生產成本。1、世界模擬器引擎：時空場景合成數據的巨量生成二、世界模型驅動的一段式端到端解決方案可望獲得突破-4D時空世界模擬：3維空間+1維時間，智能體在4D世界中與環境、其他智能體及人類進行交互式學習，以端到端數據驅動方式實現物理規律模擬，從而獲得空間智能。1）以數據驅動方式實現的物理規律模擬1、世界模擬器引擎：時空場景合成數據的巨量生成二、世界模型驅動的一段式端到端解決方案可望獲得突破2）在虛實平行世界獲得的交互數據可反哺AGI的發展數字孿生&虛實平行世界：利用數字孿生系統基于深度強化學習的自主決策與最優策略的虛實遷移；反哺AGI的發展：由此獲得的虛實交互數據，可進一步反哺通用智能體與通用人工智能的發展。1、世界模擬器引擎：時空場景合成數據的巨量生成二、世界模型驅動的一段式端到端解決方案可望獲得突破2、硬件架構變革技術路線-感知設備：對純視覺解決方案，是否需要額外增加4D毫米波雷達進行多傳感器融合？2025中國汽車流通行業新春啟航大會暨促消費大會二、世界模型驅動的一段式端到端解決方案可望獲得突破2、硬件架構變革技術路線-車載計算平臺：2025年英偉達2000TOPS算力Thor芯片可望量產，五年內車載存算一體芯片是否能突破更高的能效比瓶頸？2025中國汽車流通行業新春啟航大會暨促消費大會二、世界模型驅動的一段式端到端解決方案可望獲得突破2、硬件架構變革技術路線-大模型上車：車側一段式端到端模型上車的AI硬件算力支撐的模型蒸餾壓縮與輕量化，是否可以支撐百億級別參數規模的密集大模型上車？2025中國汽車流通行業新春啟航大會暨促消費大會二、世界模型驅動的一段式端到端解決方案可望獲得突破3、創新型模型、架構與算法的基礎性變革作用AI硬件架構變革對大型語言模型及智能體的發展起著關鍵支撐作用。反過來，人工智能中模型、架構與算法的創新，可以產生基礎性的事半功倍的效果。主要包括：1）底座模型創新，發展具有線性復雜性的下一代基礎大型語言模型。目前絕大多數大語言模型都是基于Transformer架構的，這種注意力神經網絡模型具有平方量級的計算復雜性，也無長期記憶、持續記憶與在線學習能力。從大語言模型如何走向世界模型？DeepSeek的成功再一次表明了大模型基礎與技術創新的重要性。2025中國汽車流通行業新春啟航大會暨促消費大會二、世界模型驅動的一段式端到端解決方案可望獲得突破3、創新型模型、架構與算法的基礎性變革作用2025中國汽車流通行業新春啟航大會暨促消費大會AI硬件架構變革對大型語言模型及智能體的發展起著關鍵支撐作用。反過來，人工智能中模型、架構與算法的創新，可以產生基礎性的事半功倍的效果。推動國產AI芯片支撐國產大模型的生態建設：大力發展智慧云，實現對國產AI算力芯片的適配。發展國產AI算力芯片支撐的智慧云是解決異構模型、異構芯片與異構數據適配的關鍵，可覆蓋AI全產業鏈條應用。加速全國算力網建設，實現大顆粒國家超級智算中心的高速互聯。推動國產AI芯片與算力網創新生態的發展。二、世界模型驅動的一段式端到端解決方案可望獲得突破4、數字孿生測試驗證平臺未來五年，數據閉環中自動標注的準確率會進一步提升到99%以上；世界模擬器可望支持千萬量級的場景生成，并進行并行測試；數字路測里程占比有望突破70%。提綱

OUTLINES一、范式變革：基于多模態大模型的自動駕駛技術二、世界模型驅動的一段式端到端解決方案可望獲得突破三、發展趨勢：從感知智能到認知智能清華大學人工智能研究院視覺智能研究中心VisualIntelligence

ResearchCenter

(VIRC),Institute

for

ArtificialIntelligence,Tsinghua

University2025中國汽車流通行業新春啟航大會暨促消費大會總之，在未來五到十年的更長時期：

將逐步形成大模型主導的自動