項目二智能網聯汽車環境感知技術前言各類傳感器因其測量原理，在環境感知方面都有各自明顯的優缺點。毫米波雷達具有耐候性，可以全天工作，但分辨率不夠高，無法區分人與物；攝像頭具有較高的分辨率，可以感知顏色，但受強光影響較大。激光雷達可以提供具有三維信息的特性，對環境的可重構性很強，但受天氣影響較大。毫米波雷達可以彌補激光雷達、視覺傳感器在環境適應性上的不足。視覺傳感器或者激光雷達可以彌補毫米波雷達在目標分類上的不足等。認知環境感知技術融合Annualworksummary6目錄01教學目標02教學內容教學目標0103能解釋環境感知的應用范圍01能描述環境感知系統概念和內容02能描述環境感知系統組成01.通過環境感知系統的學習，讓學生知道技術不斷進步，激發學生不斷學習的興趣。知識目標素質目標教學內容02一、多傳感器融合概念獲取、表示及其內在聯系進行綜合處理和優化的技術。每種傳感器都各具特色（如下一頁圖中所示），但單一傳感器不能采集目標的所有信息，如工作在可見光譜范圍內的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩，而激光雷達缺少目前成像傳感器所具有的高分辨率，我們可以在每種傳感器中找到諸如此類的優缺點?？梢姡詣玉{駛汽車要安全運作，必須保證多傳感器協同工作和信息冗余。因此，多種傳感器往往需要協同工作，優勢互補，共同組成自動駕駛的環境感知解決方案。一、多傳感器融合概念類型優點缺點探測范圍功能激光雷達精度高、探測范圍較廣，可以構建車輛周邊環境3D模型。容易受到雨、雪、霧等惡劣天氣影響，技術不夠成熟，成本較高。200米內障礙物探測識別車道線識別輔助定位地圖構建攝像頭可對物體幾何特征、色彩及文字等信息進行識?？赏ㄟ^算法實現對障礙物距離的探測技，術成熟成本低廉。受光照變化影響大，容易受到惡劣環境干擾最遠探測范圍可超過500米障礙物探測識別車道線識別輔助定位道路信息讀取地圖構建毫米波雷達對煙霧、灰塵的穿透能力較強，抗干擾能力強，對相對速度、距離的測量準確度非常高測量范圍相對Lidar更窄，難以辨別物體大小和形狀200米以內(中遠)障礙物探測超聲波雷達技術成熟、成本低，受天氣干擾小，抗干擾能力強測量精度差、測量范圍小、距離近3米以內(近距)障礙物探測GNSS/IMU通過對衛星三角定位和慣性導航進行結合實現對車輛進行定位容易受到，城市建筑、隧道等障礙物的干擾使得測量精度大打折扣廣域高精度定位保持在10米以內車輛導航、定位二、多傳感器融合基本原理多傳感器融合技術是通過各種車載傳感器對環境信息進行感知，并將信息傳送至信息融合中心，結合數據庫中的存儲信息進行綜合分析，實現對周圍環境和正在發生的事件做出精準評估。環境感知是通過攝像頭、激光雷達、毫米波雷達、超聲波雷達、陀螺儀、加速度計等傳感器，感知周圍環境信息和車輛狀態信息。環境信息主要包括道路信息、周邊車輛與行人信息。道路信息，包括道路的寬度、坡度、交通標志燈；周邊車輛信息包括車輛大小，行駛的速度、加速度、方向等；周邊行人信息包括行人的數量、位置及行走方向等，如圖2-6-1所示。二、多傳感器融合基本原理智能網聯汽車環境感知數據庫主要作用是對汽車上安裝的各種傳感器采集的外部場景數據進行分析，并呈現無人駕駛車輛的實際情況。以KITTI數據集為例，該數據集是視覺圖像與三維雷達數據的融合，利用KITTI數據集可以實現在車輛真實應用環境下立體圖像、光流、視覺距離測量、三維目標檢測、三維跟蹤等計算機視覺技術的性能評測。該數據集包含從城市、郊區、鄉村和高速公路等場景采集的真實圖像數據，整個數據集由389對立體圖像和光流圖、在測評里程內的視覺測距序列和超過200k的三維標記對象圖像組成。完整的數據集應包括立體數據、光流數據、視覺里程計數據、目標跟蹤數據、道路解析數據等，如圖2-6-2所示。二、多傳感器融合基本原理汽車自動化的程度越高，集成在車輛中的傳感器的數量和類型也越多，只有這樣才能夠保證信息獲取充分且、有冗余保障車輛自動行駛的安全，如圖2-6-3所示。為了保證安全，必須對傳感器進行信息融合。多傳感器融合可以顯著提高系統的冗余度和容錯性，從而保證決策的速度和正確性，這是自動駕駛系統向先進的自動駕駛方向發展，最終實現無人駕駛的必然趨勢。二、多傳感器融合基本原理傳感器融合從融合等級上分為原始數據級融合、特征數據級融合和目標數據級融合。單一傳感器中，越靠近原始數據，干擾信號和真實信號并存的可能性越大，即越早啟動融合，真實信息的保留和干擾信息的去除效果越好，但同時也為數據同步、處理算法計算量帶來相應的挑戰。實際應用中，應結合感知需求、芯片計算能力選擇合適的融合架構和方法，構建由各類傳感器信息組成的數字環境，實現智能網聯汽車的環境理解。三、多傳感器融合體系多傳感器融合體系結構分為分布式、集中式和混合式三種。1.分布式分布式先對各個獨立傳感器所獲得的原始數據進行局部處理，然后再將結果送入信息融合中心進行智能優化組合來獲得最終的結果。分布式多傳感器對通信帶寬的需求低，計算速度快，可靠性和延續性好，但跟蹤的精度卻遠沒有集中式高，如圖2-6-4所示。三、多傳感器融合體系2.集中式集中式多傳感器融合體系中，將各傳感器獲得的原始數據直接送至信息融合中心進行融合處理，可以實現實時融合。優點是數據處理的精度高，算法靈活；缺點是對處理器的要求高，可靠性較低，數據量大，故難以實現，如5所示。三、多傳感器融合體系3.混合式混合式多傳感器信息融合框架中，部分傳感器采用集中式融合方式，剩余的傳感器采用分布式融合方式?；旌鲜饺诤峡蚣芫哂休^強的適應能力，兼顧集中式融合和分布式的優點，穩定性強。混合式融合方式的結構比前兩種融合方式的結構復雜，這樣就加大通信和計算上的代價，如6所示。四、多傳感器融合的方法在以目標身份估計為目的的體系結構下，根據多傳感器信息融合技術抽象程度的不同，可以將其劃分為3個層次：像素級融合、特征級融合、決策級融合，一般情況下，具體應用方案根據系統特點進行合理選擇。（1）像素級融合像素級融合又稱為數據級融合，如圖2-6-7所示，它將同類別的傳感器采集的原始數據進行融合，最大可能地保留了各預處理階段的細微信息。但是，由于融合進行在數據的最底層，計算量大且容易受不穩定性、不確定性因素的影響。同時，數據融合精確到像素級的準確度，因而無法處理異構數據。四、多傳感器融合的方法（2）特征級融合特征級融合是通過各傳感器的原始數據結合決策推理算法，對信息進行分類、匯集和綜合，提取出具有充分表示量和統計量的屬性特征，如圖2-6-8所示。根據融合內容，特征級融合又可以分為目標狀態信息融合和目標特性融合兩大類。其中，前者的特點是先進行數據配準，以實現對狀態和參數相關估計，更加適用于目標跟蹤。后者是借用傳統模式識別技術，在特征預處理的前提下進行分類組合。四、多傳感器融合的方法（3）決策級融合決策級融合的特點是高層次，需要處理不同類型的傳感器對同一觀測目標的原始數據，并完成特征提取、分類判別，生成初步結論，然后根據決策對象的具體需求，進行相關處理和高級決策判決，獲得簡明的綜合推斷結果，如圖2-6-9所示。決策級融合具有實時性好、容錯性高的優點，面對一個或者部分傳感器失效時，仍能給出合理決策。五、我國