智能座艙硬件認知主講教師：課程導入01智能座艙的整體架構02智能座艙技術架構及算法分析03信息輸入部件認知04信息處理部件認知05信息輸出部件認知PART01智能座艙的整體架構一、智能座艙的整體架構技術架構的發展傳統座艙由單一芯片驅動單個功能或系統，通信開銷大。智能座艙軟硬件一體化聚合，實現車輛感知精細化，車輛在整個用車周期中，為駕乘人員主動提供場景化的服務，實現機器自主或半自主決策。一、智能座艙的整體架構典型智能座艙整體框架應用算法軟件應用軟件算法軟件中間件中間件組件（AutoSARRTE\ROS\分布式通信\管理平面\數據平面）系統軟件操作系統內核HypervisorBSP驅動軟件多核異構分布架構（DCU等域控制器）AI單元GPU\FPGA\ASIC計算單元CPU控制單元MCU芯片攝像頭、雷達、GPSV2X（云控、地圖等）動力、線控底盤等外圍硬件GMSL/CSI、ETH、CANGMSL/CSI、ETH、CAN4G/5G/LTECAN\FlexRay車輛平臺硬件平臺一、智能座艙的整體架構硬件平臺硬件平臺包含了AI單元、通信計算以及網關3個單元。AI單元：接觸最多的單元，主要用于處理各類傳感器的感知結果（音、頻或其他信號），并且將處理后的結果傳入處理器進行推理計算。通信單元：實現互通互聯，包含GSM（全球移動通信系統）/GPRS（通用分組無線服務技術）/C-V2X（基于蜂窩網的車載通信技術）、GPS、WiFi以及藍牙等的無線連接。網關單元：用于保障座艙域內安全可靠的數據傳輸、內置存儲和常用網關接口，包括車載以太網(ETH)、控制器局域網(CAN.CANFD)、本地聯網(LIN)和車內聯網(FlexRay)等接口。一、智能座艙的整體架構系統層系統層直接運行在硬件之上，用于提供底層算法、通信、狀態管理等服務。系統層先是通過虛擬機監視器(Hypervisor)+板級支持包(BoardSupportPackage，BSP)的方式實現硬件平臺的虛擬化，使得系統軟件可以更方便地與不同硬件平臺對接。由于底層操作系統開發周期長，投入資金大，因此當前汽車座艙底層操作系統均在QNX、Linux和Android的基礎上定制開發，因此當前座艙底層操作系統以QNX和Linux為主。一、智能座艙的整體架構中間件在智能基礎平臺里，多個分布的信息源與多個接收這些源的分布網絡節點構成了異構分布式網絡。目前解決異構分布式系統之間的互聯和操作問題通常采用中間件技術。數據分布服務DDS(DataDistributionService)滿足多種分布式實時通信要求。車載操作系統需要建立跨多單元、高速、高效的DDS機制，DDS可采用發布/訂閱架構。基于系統層提供的感知、通信及管理等基礎服務，中間件技術主要是實現座艙不同功能的模塊化，用于上層座艙場景的開發。一、智能座艙的整體架構應用層應用層就是座艙用戶直接體驗到的各類場景及功能。包含感知模塊，如情緒感知、行為動作感知、疲勞感知等。場景開發平臺可以根據這些感知結果進行具體的場景開發，例如，檢測到駕駛員打電話時會進行語音提醒，檢測到疲勞時，會播放音樂等。PART02智能座艙技術架構及算法分析二、智能座艙技術架構及算法分析技術架構交互應用車聲控制系統控制第三方APP語音管理用戶界面交互控制車機服務數據服務車身數據系統控制車身狀態車身控制OTA決策中心標準接口封裝場景/感知SDK內置/制定化場景圖像/語音控制決策三方應用地圖天氣音樂底層芯片設備管理狀態管理系統平臺（硬件+驅動）SDIO、Camera、Power、CAN、Audio、Display、其他硬件適配層車機硬件DMS攝像頭麥克風陣列IC顯示屏車載音響其他底層芯片人臉識別多模語音性別年齡危險行為手勢識別情緒識別AI模型其他圖像語音車身數據數據個性化場景指令在現場景算法模型訓練平臺語音識別數據安全（過濾、脫敏）數據倉庫賬號鑒權OTA云端服務二、智能座艙技術架構及算法分析算法分析目前，智能座艙算法模塊大致分為以下四大類：駕駛員面部識別類：包含人頭識別、人眼識別、眼睛識別等；駕駛員動作識別類：手勢動作識別、身體動作識別、嘴唇識別等；座艙聲音識別類：前排雙音區檢測、聲紋識別、語音性別識別/年齡識別等；座艙光線識別類：座艙氛圍燈、座艙主體背景、座艙內飾等。PART03信息輸入部件認知三、信息輸入部件認知車載攝像頭車載攝像頭被稱為“自動駕駛的眼睛”，通過鏡頭和圖像傳感器實現圖像信息采集，超過80%的自動駕駛技術都會運用到攝像頭，或將攝像頭作為一種解決方案。座艙內的攝像頭有多種類型，根據安裝位置不同，車載攝像頭可分為前視攝像頭、側視攝像頭、環視攝像頭、后視攝像頭及艙內攝像頭。三、信息輸入部件認知車載傳聲器傳聲器是將聲音信號轉換為電信號的信號轉換器件或者模組，俗稱“麥克風”。汽車傳聲器是車載音頻信號的接收模塊，由外殼、電路板、傳感組件、信號轉換器和密封組件等部分組成。基于語音的車載人機交互系統在智能座艙領域占據重要地位，車載傳聲器陣列已成為智能汽車的標配。PART04信息處理部件認知四、信息處理部件認知車規級芯片四、信息處理部件認知CPUCPU叫做中央處理器（CentralProcessingUnit）作為計算機系統的運算和控制核心，是信息處理、程序運行的最終執行單元。CPU由數百萬個晶體管組成，可以有多個處理內核，通常被稱為計算機的大腦。CoreControlL1CacheCoreControlL1CacheCoreControlL1CacheCoreControlL1CacheL2CacheL2CacheL3CacheDRAMCPU四、信息處理部件認知GPUGPU叫做圖形處理器（GraphicsProcessingUnit），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機和一些移動設備上做圖像和圖形相關運算工作的微處理器。L2CacheDRAMGPU四、信息處理部件認知片上系統片上系統（SoC）是一種將系統所需的全部組件壓縮到同一個芯片上的集成電路。片上系統無需獨立的大型系統組件，有助于簡化電路板設計，從而在不影響系統功能的情況下改善功耗和運行速度。PART05信息輸出部件認知五、信息輸出部件認知屏幕現在智能座艙的一大特征是基本標配全