提 要 1論文分類號 單位代碼 10183 密級 內 部 研究生學號 2201207 吉 林 大 學 碩 士 學 位 論 文 汽車前方可行區域計算機視覺感知系統的研究 者姓名： 曹國 專業： 車輛工程 導師姓名： 管欣 及職稱： 教 授 論文起止年月：2001年10月至2003年2月 吉林大學碩士學位論文 2提 要 如何給智能輔助駕駛車輛提供準確的外界環境信息，使其決策控制建立在實時準確的道路環境信息之上是智能輔助駕駛車輛研究的關鍵問題。 本文對車輛可行區域的感知環節進行了研究，通過分析攝像頭采集的道路圖像，提出了道路邊緣曲線點生長搜索算法，并對其進行了聚類直線擬合，同時對攝像機建立了鏡頭畸變模型并確定其內部參數，運用道路平坦假設將圖像平面內的車輛可行區域轉換到車體坐標系下，從而為智能輔助駕駛車輛提供最基本的外界環境信息。最后將可行區域感知系統在實驗車上進行集成實現，并進行了相應的道路實驗，取得了良好的道路感知效果。該論文的研究對于智能輔助駕駛車輛的視覺系統研究提供了一條可行的研究途徑。 目 錄 錄 第一章 緒論 1 .二章 可行區域感知系統的整體設計 10 能車輛的整體結構分析.課題感知系統的體系結構.知系統各功能模塊的設計分析.三章 可行區域感知系統的算法研究 16 . 圖像噪聲的去除.道路邊緣的增強.道路邊緣與圖像背景的分割.道路邊緣矢量點的提取.道路邊緣矢量點聚類擬合.從序列圖像中提取可行區域的算法.四章 可行區域感知系統的實現 37 .圖像的捕捉設備：.林大學碩士學位論文 知系統處理設備.其他輔助設備.圖像的捕捉.可行區域建立的算法實現.處理結果的存儲實現.其他相關問題的解決實現.章小結.五章 感知系統的試驗 50 .文總結 57 參考文獻 58 致 謝 要 I 第一章 緒論 1第一章 緒論 著城市化的發展和汽車的普及，交通運輸問題日益嚴重。近年來，車輛增長的速度也已遠遠高于道路和其他交通設施的增長速度，交通事故頻繁、人員傷亡于日增多及財產損失巨大這都要求車輛必須具有良好的主動安全性，隨之智能車輛（概念應運而生。作為汽車主動安全方面最新的發展方向，因其在公路交通運輸中廣闊的應用前景而受到世界各發達國家的普遍關注。車輛的智能自動駕駛不僅可以大大減少交通事故，提高汽車的主動安全性，還可降低車輛的燃料消耗，減少排氣污染，提高公路的運輸效率，同時，也減輕了駕駛員的負擔，提高了乘坐的舒適性。 視覺感知系統作為智能車輛最基本的外界信息感知環節有著舉足輕重的作用，智能車輛的決策控制也主要建立在視覺系統之上，因此，智能車輛也對其有著近乎苛刻的要求。 能車輛是一個集環境感知、規劃決策、自動駕駛等多種功能于一體的綜合系統。它的自動駕駛就是指完全脫離駕駛員的操作，依靠汽車控制系統駕駛汽車，自動分析和處理汽車運行過程中遇到的各種情況，并根據現從一個地點向另一個地點的移動。簡單的說，就是車輛本身具有“頭腦”,能夠運用它的“眼睛”對外界環境進行辨識，然后自我決策運行軌跡并控制車輛的行駛。 視覺系統就充當著“眼睛”的角色，智能車輛要求其必須具備實時性、魯棒性、實用性這三方面技術特點：實時性是指視覺系統的數據處理必須與車輛的高速行駛同步進行;魯棒性是指智能車輛對不同的道路環境，如高速公路、市區標準公路、普通公路等，復雜的路面環境，如路面及車道線的寬度、顏色、紋理、動態隨機障礙與車流等，以及變化的氣候條件，吉林大學碩士學位論文 2如日照及景物陰影、黃昏與夜晚、陰天與雨雪等均具有良好的適應；實用性是指要求智能車輛在體積與成本等方面能夠為普通汽車用戶所接受14。 善的視覺系統在車輛的自動駕駛以及輔助駕駛中所扮演的角色正如人的眼睛與人一樣，它從圖像中檢測出道路信息和障礙物信息即道路的形狀與車輛的相對關系。根據這些信息，車輛會發出車線偏離警告，以及前方障礙物警告，進一步運用控制系統的決策來改變車輛的行駛行為。 可行區域 車道跑偏報警障礙物檢測圖11 車輛輔助駕駛報警系統 障礙物檢測智能車輛本身作為一個大的系統包含著許多子系統：認知模塊、決策模塊和控制模塊。認知模塊，實際上是指駕駛員的“感覺器官”，是用以獲取外界環境信息，并通過一定的處理從這一系列信息中提煉出駕駛員駕駛所需的內容。而決策模塊好比駕駛員的“大腦”，是以認知模塊提供的道路狀況、車輛姿態、位置等信息為基礎，對汽車安全、高效行駛所應采取的運行狀態進行分析，決策出汽車運動狀態應發生的改變。控制模塊是駕駛員的“肌肉”，控制系統對汽車的實際操作，包括踏油門，轉方向盤等，都是通過駕駛員“肌肉”運動，以實現決策模塊所決策的汽車運動狀態的改變。視覺系統作為認知模塊的主要部分，它的豐富與完善會使“大腦”做出準確而又明智的選擇，使“肌肉”達到和諧與輕松的境界。 第一章 緒論 3能車輛不僅具有廣闊的應用前景，而且被認為交通工具發展歷史的必然趨勢，吸引著越來越多的研究機構和汽車廠商的興趣。智能車輛的研究涉及到計算機測量與控制、計算機視覺、傳感器數據融合、車輛工程等諸多領域，可以說，智能車輛的研究是計算機視覺與計算機控制研究在車輛工程上的綜合，下面以整車系統以及視覺系統的性能為線索，介紹智能車輛研究現狀。 一. 非基于視覺的智能車輛研究 在智能車輛研究早期，最初計劃采用地下埋電纜的方式，通過電磁感應進行導航，此種方法不能提供車輛需要的方位信息及障礙物信息，在80年代美國的洲的本的此種方案的造價過于高昂，據美國資料報道，為采用此種導航方案所鋪設的公路大約是10K$/m。 二基于視覺的智能車輛的發展歷程 基于視覺的智能車輛是在汽車上安裝攝像鏡頭，利用計算機視覺技術，模仿人眼視覺機理，通過處理攝像鏡頭捕捉的圖像，獲得引導信息，與以上引導技術相比，視覺引導有許多優勢，它不必在道路上增加設施，能適合來往車輛、行人、臨時設施等不可預先建模確定的隨機障礙物，與以滿足智能車輛全天候的絕大部分需求。90年代以來，視覺引導技術與大加速了智能車輛的研究。 在歐洲，早在1987年奔馳公司和德國國防軍大學聯合研制7公里。在隨后幾年不斷創造新的時速記錄并且具備了超車換道功能和對多種氣象條件的適應能力，其核心是運行于制的 系吉林大學碩士學位論文 4統也已在高速公路和普通標準公路上進行了大量實驗，實驗內容包括跟蹤車道線，躲避障礙，以及自動超車等。利用自適應控制進行縱向及橫向自主方式行為實驗，該系統 1995年公布的最高時速可達 1 3 0 1996年已提高到 1 60 h 。法國帕斯卡大學自動化與電子材料科學實驗室與法國 D. R. A. 術中心合作研制 視覺系統使用單攝像機實時檢測并跟蹤道路白線，采用高斯濾波和平均值計算確定灰度標準方差，利用梯度計算確定車道線的右 (或左)邊緣，同時選擇多項式函數建立軌跡模型，利用時空光滑方法降低噪聲和提高魯棒性。當車體前方或駕駛參數出現非正常狀況時，系統以語音信號的方式向駕駛員發出警告性提示，以避免或降低因駕駛員疏忽所引發的行車事故，提高車輛在道路行駛中的安全性，可見該系統完成的是相對簡單的安全警告與輔助導航功能。意大利帕爾馬大學研制的核心是基于道路平坦假設，采用單攝像機重投影完成平行的道路標志線檢測，雙攝像機重投影完成車輛檢測功能，根據現道路跟蹤，此外還能夠實現人觸發的換道操作。 在美國，卡內基米倫大學（多家汽車公司研制995年建立了智能實驗車 ，運動跑車。上開發了 及快速自適應車體定位處理器 實驗車的功能：1* 車道保持運用道路平坦假設，檢測和追蹤道路標記，控制車輛橫向位置；2* 障礙物檢測利用激光雷達測量距離信息；3* 油門和剎車由駕駛員控制。 裝備：1* 一臺便攜式計算機，一臺分辨率為 1 0 2 4 768的液晶顯示器 2*一臺 * 差分 * 具有數字輸出的光纖阻尼陀螺儀。 圖像處理和道路識別策略：采用視覺窗口技術，僅處理感興趣區域的局部信息， 梯形窗口中每一行所對應的實際水平寬度約7約為典型車道寬度的兩倍，然后對梯形窗口的內容進行幾何變換，建立一個 3 0 3 2象素的低分辨率圖像，滿足實時性要求。道路檢測使用道路平坦假設和平行于道路的特征如車道線、道路邊界等識別道路。 第一章 緒論 5自主駕駛的平均速度為 88. 5 h，還首次進行了橫穿美國大陸的長途自主駕駛實驗，距離長達 4586計結果表明，自主駕駛的行程 44968. 1 %。在1997年研制了，小型商務車，能夠進行方向速度控制，依然是在日本，也成立類似專門機構，每年展示智能車輛取得的新成就，并在高級安全車輛上安裝了這些成果，提供車道跑偏警告，車距保持及障礙檢測功能。 在中國，國防科技大學由常文森、賀漢根教授領導研制了自動駕駛汽車，是小型廂式客車，進行方向、速度控制，完成校園環境的低速無人駕駛試驗，其特色是視覺系統采用行開發的圖像處理系統。2001年研制的完成了高速公路上與其他普通車輛一起行駛的試驗，效果較好，華大學研制小型商務車，能夠進行方向、速度控制，完成高速公路場景錄象仿真。吉林大學王榮本教授研制度較慢，主要用于柔性加工中的貨物運輸。 右圖為一智能車輛的外圍獲取信息設備簡圖。 圖1德國大眾公司的智能車輛系統 （上:車輛原型 下:系統布置） （1. 雷達 24. 激光掃描器 吉林大學碩士學位論文 6三視覺研究的歷史與現狀 人類通過視覺識別文字圖片和周圍的環境，從信息處理的角度來搞清楚視覺形成的機理，研究其計算理論與算法，以使計算機實現人的視覺識別能力，是人類在基礎研究與應用中面臨的最重大的挑戰之一。如果機器不能自動感知與識別周圍環境，機器智能也就無從談起，因此，用計算機實現模式的自動識別是開發智能機器的一個最關鍵的突破口。人們通過眼睛與大腦來獲取、處理與理解視覺信息的，外界環境的物體在可見光的照射下在人眼的視網膜上形成二維圖像，這是圖像的形成過程即成像過程。視覺過程作為成像過程的逆過程，其目的是要從帶噪聲、畸變的二維圖像中恢復三維場景的有關信息，如形狀、位置、運動等物理特性（對本課題而言是恢復有關道路形狀、位置的信息）。 計算機視覺的歷史不長，至今也就是三十幾年，它是伴隨著計算機科學與技術產生和發展起來的，大致可以分為兩個階段，早期（1965近期（1976 早期的計算機視覺研究集中在積木世界（線條圖（圍，這通常是指那些以平面為表面的多面體的世界。那時的計算機視覺系統都是自底向上結構的，直接取決于低層次視覺的處理，因而研究工作集中在線條和邊界的抽取和區域劃分上。當時出現了大量的算法，如s s s 木世界的研究反映了視覺早期研究中的一些特點，即從簡化的世界出發進行研究，這些工作對視覺研究的發展起到了促進作用，但對于稍微復雜的景物便難以奏效。 近期的計算機視覺研究開始于20世紀70年代中期，迄今為止最系統化的視覺理論，要表 現在研究內容和方向集中在與人類視覺系統中的感知獨立模塊相對應的課題上，也就是根 據影調、運動、立體、 輪廓、紋理等線索恢復物體表面的形狀。這些研究極大地深化了計算機視覺的研究。計算理論層次，表達與算法層次和硬件實現層次： 第一章 緒論 71、計算理論層次指的是視覺系統基本的輸入、輸出關系，輸入為二維圖像，輸出是則由二維圖像重建出來的三維物體的位置和形狀。 2、對于表達和算法層次則是指系統內各個模塊的輸入、輸出和內部的信息表達，以及實現計算理論所規定的算法。 3、硬件實現層次是如何用硬件實現以上算法的問題。 計算機視覺作為一門新興的學科，眾多學者都在努力完善視覺理論，提出并改進各種算法如光流方法、能量態估計器等等以使得該學科更加經濟實用。 題將使用環境限定為具有良好標志的結構化高速公路上或者是規范化道路結構的普通公路上，主要完成道路標志線跟蹤，給車道跑偏報警提供依據，本體車輛定位等功能。相應的研究把精力集中在簡單結構化環境中的輔助駕駛上，目標是提高汽車駕駛的安全性，盡管該課題定位有很大的局限性，但是，若它成功實現將會部分解決汽車駕駛中最為常見也最易出危險的操作問題。 課題研究的目的是：建立可行區域感知系統，實現車輛在行駛過程中對道路邊緣、標志線的自動檢測與識別，確定車輛與道路的相對位置關系，實時的給出車輛行駛的可行區域，為整個智能輔助駕駛系統提供道路 場景 信息 環境 參量 決策得到的路線或速度 實際輸入的控制信號車輛實際狀態 道路、運動和交通感知模塊控制模塊決策模塊車輛模型駕駛員模型 汽車模型 本課題的位置 圖13 吉林大學碩士學位論文 8外界環境信息輸入。 這里所指的可行區域是指當車輛行駛在道路上時，由道路的寬度、方向、曲率以及其他車輛位置和交通法規所決定的能夠行駛的區域。也就是本課題所重點研究的內容。（如圖15中黑色折線所圍成的閉區域即為圖像平面可行區域） 如圖14所示，實際道路或為直線或圓形彎道或純過渡彎道，當車輛在行駛時，根據駕駛員預瞄距離，我們僅就車輛前方至百米左右的區域感興趣，在感興趣的區域區間段內可以認為道路是由直線組成的（21, 就整條道路看則分成了一系列線段組成的，障礙物所在的區域現在不予考慮，也就是在課題建立的大的可行區域之中去除障礙物所在區域。 本課題研究的主要工作： 1* 圖像捕捉與前期處理： 首先選擇圖像采集設備，對設備的原理、性能有大致的了解。采用 取道路圖像，通過采集卡進行A/圖像數據送入計算機后，由于采集的圖像含有噪聲需要對圖像進行去除噪聲圖15 真實道路圖像中可行區域 道路左邊界輪廓線 &,&,中心虛線 中心雙實線 障礙物 路信息的簡化處理示意圖 第一章 緒論 9處理，之后根據要求再進行可行區域輪廓增強等處理，目的是獲得比較理想的可行區域輪廓圖像。要選擇設計檢測模板，進一步優化圖像前期處理結果，使得后續處理建立在較為準確的基礎之上。 2*道路邊緣提取過程： 車輛在道路上行駛時，道路邊緣位置時刻在變，邊緣提取易受光線、車體振動等干擾，使得搜索結果不可靠。我們提出了點搜索算法提取道路邊緣，運用聚類直線擬合減少噪聲影響。在車輛在行駛過程中，采集的序列圖像道路邊緣是連續漸進變化的，不會發生突變，根據此特點限定了搜索道路邊緣的范圍，保證可行區域矢量點的提取的準確及可靠性。 3* 車體坐標系下攝像機標定： 在車體坐標系下，攝像機參數可以分為兩類，外部的六自由度參數和內部參數，外部參數是指攝像機坐標系與選定的車體坐標系之間的空間位置關系，而內部參數則是由攝像機系統采用的于攝像機參數眾多，且是時變的，我們建立了合適的攝像機模型，對各參數進行合理的假設以及取舍，確定標定方法，得到攝像機的參數。 4* 車體坐標系下可行區域的建立： 攝像機的參數確定后，就成為二維圖像向三維世界坐標轉換的橋梁。將圖像處理得到的二維可行區域邊緣矢量轉化為車體坐標系中的結構參數，得到車輛在空間道路中的實際位置，同時也建立了車輛的可行區域。通過硬件以及編寫算法使此感知系統能夠真正的在車輛上得以實現，實時的運轉起來。 吉林大學碩士學位論文 10第二章 可行區域感知系統的整體設計 能車輛的整體結構分析 智能車輛集多種傳感器數據融合、視覺信息處理、導航、避障等功能于一體，為完成如此復雜、如此眾多的功能，歷史上曾有幾種體系結構，如水平型結構、垂直型結構和綜合型結構。下圖為一 典型的智能車輛的體系結構。 如下圖22，管欣教授提出的駕駛員操縱行為模型結構框圖，框圖詳細描述了駕駛員的行為特性，將其分為三大部分：道路、運動和交通感知環節、預瞄決策環節和控制校正環節。該模型從總體上對汽車動態模擬國家重點實驗室研究的智能輔助駕駛車輛各功能模塊進行了界定，對于該課題的總體設計產生很大的指導作用。 課題感知系統的體系結構 在可行區域感知系統中，采用下圖)，攝像機安裝在車輛的頂部，或者安裝在車輛駕駛室內的上部。為獲取汽車在道路上的位置以及道路本身的情況，在此對應用條件視覺系統 激光掃描器 激光測距雷達. 制中心 駕駛機器人 電子副駕駛 車輛導航&控制 車輛診斷系統數據采集&記錄 感器數據 車輛動作命令 型的智能車輛體系結構第二章 可行區域感知系統的整體設計 11做一些必要的假設以簡化系統及處理的難度。 駕駛員操縱行為道路、運動和交通感知控制校正預瞄決策受控車輛車道邊界識別交通標志識別道路、交通環境障礙/車輛檢測車輛最優預瞄加速度決策車輛未來運動預瞄控制動態校正操作行為車輛特性學習交通法規、法律合法性評估易操縱評估安全性評估可行區域判斷車輛當前運動感知1光照良好假設 汽車在室外公路上行駛，周圍光線強度隨著汽車的位置以及時間的變化而變化，一方面要求日照條件良好，另一方面要求我們采用的攝像頭能夠自動暴光，以適應日照光線強度的變化，從而滿足攝取的圖像有清晰的道路輪廓。 2. 針對的道路是結構化道路，一般指高速公路和部分結構化較好的公路，它們具有清晰的車道線和道路邊界，車道線一般是連續的白(黃)線或短劃線，在這種情況下，道路檢測問題可以簡化為車道線或道路邊界的檢測問題。 另外車道上的積水及陰影先不予考慮。 在早期的智能車輛研究中，由于早期的計算機的處理能力十分有限，視覺導航系統的實時性成為其可用性的瓶頸，因此各國的研究者們通常都采用大規模的并行處理技術，在這一階段，研究者的精力過多的耗費在硬件平臺的設計、實現和測試上，但隨著計算機技術的飛躍發展，其處理能力爆炸似圖22 駕駛員操縱行為結構框圖吉林大學碩士學位論文 12的提高，該種體系結構已經不是研究的重點了。在本課題中，從圖像以及計算機視覺算法的實現處理方式分析，采用串行處理方式，即整個視覺系統的數據操作由一臺功能較強的計算機實現全部控制處理功能，這是由本課題的定位目標所決定的。 下面分析視覺系統的圖像采集方式，采集方式主要是指采用的攝像機個數，根據圖像采集方式的選取，目前世界上視覺系統一般分為三類：單攝像頭式，雙攝像頭式和多攝像頭式。而大多數采用單鏡頭或是雙鏡頭方式 多攝像頭式（a）各攝像頭之間有著不同的焦距，視角從小到大，可以獲取車輛前方到百米左右各處清晰的路面圖像，現在視覺系統采集圖像遇到的問題是：采用大焦距攝像頭時，轉彎時視角過窄，無法觀察到車輛兩旁的景物；選用廣角鏡頭捕捉車輛前方場景圖像時，拍攝遠處則存在圖像分辨率較低，非線性畸變大等問題，采用多攝像頭方式就可解決這些問題15。例如，德國用此種方式，需要同時處理多幀圖像，計算量巨大,運用此種方式的系統比較少。 雙攝像頭式（b） 采集區域如圖所示，對不同視角的攝像機獲取的兩幅圖像進行區域匹配，實現立體視覺，可以得到相對較多的信息，例如車輛及障礙物的檢測等，但涉及的計算復雜，運算量較大，也不容易實現。 單攝像頭式（c）采用一個面陣型攝像機，在精度要求不很高的情況下，圖23 車輛及攝像機位置關系圖第二章 可行區域感知系統的整體設計 13其采集區域同上，可以獲得足夠的信息，進行道路標志線跟蹤，利用道路平坦假設，能將道路特征從圖像坐標系轉換到車體坐標系。由于其僅處理單幀圖像，計算量小可以實時處理。 b c a 圖24 各種圖象采集方式以及對應的采集區域 其中表示攝象機，表示攝象機的圖象采集 在本課題的應用中，主要是檢測出道路的信息如車道線的跟蹤，因此采用單攝像頭的采集方式更為合理。另外，在進行道路標志線跟蹤時，是基于色彩信息還是基于灰度信息，首先比較了幾種不同的處理方法：區域生長法，模板匹配方法，鏈碼跟蹤法等等之后，決定選取鏈碼跟蹤的簡單方法，也因此選用基于灰度信息來處理圖像，在進行該系統整體設計時選用黑白的攝像頭作為我們的圖像捕捉設備。另外，基于當車輛在較黑暗的條件下運行時，攝像機需要加裝相應的紅外線設備的考慮，不能用彩色攝像機；黑白敏度高和傳輸距離遠等優點。因此感知系統采用的是黑白吉林大學碩士學位論文 14知系統各功能模塊的設計分析 基于單攝像頭的可行區域感知系統，它所要實現的最終目的是確定道路邊界相對于汽車的位置，為整個智能輔助駕駛車輛的控制提供可行區域信息。整個感知系統的輸入是汽車行駛時所處道路的場景，系統的輸出是道路邊界相對于汽車的位置，正如人腦通過對眼睛獲取的圖像進行分析從而形成視覺一樣，智能輔助駕駛車輛可行區域感知系統也通過對圖像采集設備采集到的道路圖像進行相應的分析，從中提取出道路邊界信息，為智能車輛的控制提供必要的、精確的數據。 不同于人腦的視覺形成機理，我們所研究的感知系統僅僅對代表道路邊界（道路路肩或者是道路上斷續的標志線）的邊緣曲線相對于汽車的位置感興趣，因此整個分析過程，可以通過如下圖23所示的幾個步驟來實現。這樣，攝像頭簡化參數的確定 車體坐標系下 可行區域的建立 道路圖像的 前期處理 道路邊緣 矢量點提取 圖像平面 可行區域的建立 攝象機捕捉 道路圖象 曲線搜索： 運用點生長搜索法對道路路肩邊緣曲線進行搜索，建立路肩曲線矢量 圖像前期處理： 去除道路圖像噪聲 道路邊緣增強 可行區域建立： 對邊緣矢量點進行聚類 擬合 決策模塊 圖23 行區域感知系統的整體設計 15可行區域感知系統大體可以分為兩個大的部分：圖像平面內可行區域的建立、車體坐標系下可行區域的建立。 圖像平面內可行區域的建立包括圖像噪聲的去除、道路邊界的增強（這一部分主要是對捕捉圖像進行的初步處理，目的是獲得比較理想的邊緣圖像，以利于系統進行下一步分析），可行區域中道路邊緣矢量點的提取，是整個圖像處理工作的核心，根據實際的道路路面情況，編寫可行的搜索算法，它的輸出是可行區域邊界點的坐標（圖像坐標系下）。車體坐標系下可行區域的建立包括攝像頭簡化參數的確定（這一部分是圖像平面內的可行區域與車體坐標系下可行區域轉換的橋梁），然后根據這個橋梁，可以獲取車體坐標系下的可行區域。 吉林大學碩士學位論文 16第三章 可行區域感知系統的算法研究 本章根據感知系統的總體設計，從基本的計算機視覺理論出發，對系統各功能部分進行分析，然后編寫設計具體的處理算法。主要分為兩大部分：圖像平面內可行區域的算法研究及車體坐標系下可行區域建立的算法研究，下面進行較為詳細的介紹。 本課題的目的是經過圖像處理后，檢測出車輛行駛前方的可行區域，因此道路標識線（道路邊界）便成為我們檢測的一個主要問題。道路邊緣檢測有以下幾種常見方法：區域生長法，模板匹配方法，鏈碼跟蹤方法，1、區域生長法：其基本思想是首先在各個區域里尋找一些核心點 (或核心區、原子區 )，通過適當的可接受的準則將其周圍鄰近的像素點(或子區 )歸并進來以使區域逐漸生長擴大，直到沒有可并入的點時，整個生長過程結束。在區域生長的過程中可根據有關區域的先驗知識例如區域的顏色均勻性要求，紋理或形狀等要求來調整歸并準則以期獲得較好的區域生長和區域分割結果。一般先在道路上找出種子點，然后區域生長，最后求其補集找出道路邊界。這種方法對于本研究課題有些舍近求遠，先求道路區域大小，然后定出區域的補集，計算開銷大。 2、模板匹配方法：根據經驗，事先做好一些道路檢測模板，然后檢測道路曲線與哪一種模板匹配程度最好。這種方法缺點在于實際道路形狀復雜多變，很難用簡單的幾塊模板將道路曲線全部描述出來。若模板變大，雖然抗干擾，但更加難于與復雜的道路曲線相匹配，增多模板個數又會使道路檢測時間變長，達不到實時性要求。 3、之在另一坐標空間的特定位置上出現峰值，找出峰值位置即檢出曲線。例如直線= ,在參數空間只需一個點（即可表示。 第三章 可行區域感知系統算法研究 17在此不討論干擾，魯棒性好，但是于在實時時間內完成道路檢測。另外，道路曲線形狀越復雜，參數空間的參數就越多，找出參數出現峰值的特定位置更加困難。 綜合上述方法的優缺點，采用了邊緣跟蹤的方法，直接將道路的邊緣道路邊界、道路的標志線，用鏈碼跟蹤的方法將其檢出。下面將詳細介紹此種方法的思路及做法。 整體思路用框圖表示如下 圖象噪聲的去除 道路邊緣的增強 道路邊緣與圖象背景的分割 可行區域矢量點的提取 矢量點的聚類擬合 圖31圖像平面可行區域提取流程 1. 圖像噪聲的去除 在圖像獲取過程中由于采樣量化、傳遞和環境干擾的存在致使圖像出現一些高頻的噪聲，這些噪聲會影響后續處理的效果，對圖像進行平滑處理可降低噪聲，獲取比較理想的圖像質量，提高后續處理的精度。 圖像平滑的基本方法分空間域法和頻率域法兩類，因為本課題所研究的系統要求有極高的實時性，而頻率域法所采用的算法比較復雜，要求對整個圖像進行處理，實時性較差，因此系統采用比較簡單的空間域法。 空間域法的基本算法有三種： 鄰域平均法： 基本思想是用鄰域內的點的平均值來取代該點的灰度值。但是如果該點的值與鄰域平均值相差不大的話，則說明該點的噪聲并不大，不需要平滑處理，從而保持邊界，減少模糊；對于孤點噪聲的灰度則與其鄰域平均灰度相差懸殊，可以通過此方法濾掉。 吉林大學碩士學位論文 18=其他當),(),(1),( ),(1),(),(),(),(),(31) 其中：,(表示位于該點鄰域內的點的個數（不包括該點）。 (),(表示該點的去心鄰域內的點的灰度值之和。 多幀平均法 這種方法是利用同一景物的多幅圖像的迭加而消除噪聲的，但是由于本課題所涉及的應用條件，不可能在一次處理流程中，多次對同一個區域進行圖像采集，因此這種方法也不合適。 中值濾波法 中值濾波法實際上是一種非線性的空間濾波法，它既能有效的抑制噪聲，又能起到保護邊界的作用。這種方法的基本思想是用鄰域內的點按照灰度值的大小排序，取序列的中間一位作為該點的灰度值。 中值濾波在清除圖像上隨機脈沖噪聲較為有效，但對于某些作用形式較為緩和的噪聲，效果就要差些。 高斯濾波方法 高斯算子可用模板表示卷積核為A/16，高斯函數能把圖像變模糊，有效的消除一切尺度遠小于高斯分布空間常數的圖像強度變化，它在空域和頻域內都是平滑的，因而引入任何在原始圖像中未曾出現的變化的可能性最小 =121242121A 小結：經過我們實際的實驗測定，高斯濾波方法速度快，并且效果也較理想，因此圖像平滑采用這種方法。 第三章 可行區域感知系統算法研究 192道路邊緣的增強 許多學者分析了人和動物的視覺，發現視覺對圖像中的邊緣更為靈敏，因此提出以物體區域的邊界為基礎的一類圖像分割方法。邊界線或邊緣通常是以圖像中某些特性不連續行為表征的，如灰度的突變、彩色的變換、紋理結構的變化等。邊界線或邊緣表示圖像中一個區域過渡到另一個區域。邊緣信息不但對人的視覺十分重要，而且對計算機視覺的設計都十分重要。通常圖像的邊界常采取以下幾種形式：階躍式、灰度漸變式、斜率上升又下降式、脈沖式以及帶有不同干擾等形式，如圖32。 突出圖像中的邊緣，然后再用某些閾值使之分割出來，從而得到邊界的圖像。常用的幾種預處理有差分運算、梯度算子、模板匹配等。下面介紹幾種常見的計算機易處理簡單方便的算子 (a) (b) 圖32理想的邊緣截面圖，表示在邊緣處灰度級的變化形式 (a)理想的階躍邊緣；(b)有噪聲并被模糊了的階躍邊緣； (c)理想的“脈沖狀”線；(d)與階躍邊緣組合的線。 (c) (d) ),(),(),( = （32） 式中（點的四鄰域，或用差分近似為： |)1,(),1(|,)1,1(),(),( += 吉林大學碩士學位論文 20這是較常用的四點鄰域的公式。也可歸入模板法，空域處理 =0110),(1 ，=1001),(2 子公式為：22222),(),(),(+= （33） 可以用模板表示其33算子為： =0101410101h，=1212421212h 這個算子是旋轉不變算子，從公式可以看出此算子對孤點或端點更加敏感。 加權平均再求差分，對模板如下 =1012021011h , =1210001212h 出的邊緣較寬。 高斯函數的一階微分，能在噪聲抑制和邊緣檢測之間取得較好的平衡，它有三個最佳邊緣檢測準則如下： （1） 最優檢測：不漏檢真實存在的邊緣，也不把非邊緣點檢出，這樣使得輸出的信噪比最大； （2） 最優檢測精度：檢測到的邊緣點的位置與實際邊緣點的位置最近； （3） 檢測點與邊緣點一一對應：每一個實際存在的邊緣點與檢測到的邊緣點是一一對應關系。 但在道路圖像中經過應用，它檢出的邊緣過于注重細節，復雜且凌亂，不適合本課題的應用。 小結：在實際應用中，模板匹配方法需要建立大量的模板以適應不同的道路，靈活性小，選擇不同的模板檢出道路也比較費時，在此不予考慮此方法。以上幾種算子經過實際應用進行比較，用個方向模板可以同時在圖像上檢出道路，效果比較好. 第三章 可行區域感知系統算法研究 213道路邊緣與圖像背景的分割 分割是采用閾值技術，就是簡單的用一個或幾個閾值將圖像的灰度直方圖分成幾個類，認為圖像中灰度值在同一個灰度類的像素屬于同一個物體。道路邊緣與圖像背景分割的效果是我們可行區域建立的基礎，分割點閾值的選取過低，則將會把道路上的陰影，污跡以及道路兩旁的建筑設施劃分到了道路邊緣的范疇，使得道路邊緣檢測出的準確率大大下降，并且耗費大量時間。閾值取得過高，則圖像中道路邊緣也會劃分到背景部分中，從而搜索不到道路邊緣，也就無從為后續的控制模塊提供可行區域信息。 最簡單的一種全局方法就是根據經驗給定固定的值將圖像簡單的分成道路邊緣以及背景。 =（ 當0011,1,1=大津法：把圖像直方圖用某一灰度值分割成兩組，當被分割成的兩組間方差最大時，此灰度值就作為圖像二值化處理的閾值，這種方法由日本的大津展之提出，主要依據是概率統計與最小二乘原理，該方法基于整幅圖像的統計特性，可實現閾值的自動選取，對圖像二值化處理的效果較好，被諸多學者承認，在實際中的應用范圍較大。 設一幀圖像分為1度值 總象素數=象素值概率 吉林大學碩士學位論文 22然后用一整數.,2,1,.,2,110+=， 則010=，均值=(/)(/ 1=11 ，均值 +=1/)(/ 其中，=1100 +=，于是兩間方差 201102112002)()()( =+= （36） 從1，2，使得方差最大值的K，即)(其他方法:最大熵方法對不同目標大小和信噪比的圖像均產生很好的分割效果，且受目標大小的影響小，但此方法涉及對數運算，運算速度慢，不能用于實時處理。 小結： 經過試驗得出結論：在道路陰影不太嚴重時，大津方法在處理速度以及圖像分割優劣來看，大津閾值方法能夠自動的對圖像閾值化且效果較好。 4道路邊緣矢量點的提取 由前邊所述。我們目前針對的主要是高速公路，其道路情況如下圖33所示，道路兩旁的邊界處為連續的白色標識線，在道路內部，則由斷續的白色標識線將前行（或后行）道路分割為兩車道，或者是三車道，又由于車輛要高速行駛，要求要保持一定的車距，所以在道路邊緣搜索時，前方行駛的車輛不會對我們所感興趣的區域的道路標識線有所遮擋。 可行區域矢量點的提取分為兩種模式：一是啟動模式，另一種是運行模式。該小節中講解一下啟動模式。 啟動模式：車輛剛剛運行跟蹤算法時，沒有歷史紀錄，也就沒有其他參數可供參考，其處理相當于對攝像機采集的第一幀靜止圖像進行處理，得到第三章 可行區域感知系統算法研究 23初始的道路參數。 運行模式：在圖像處理跟蹤算法中，我們得到的是大量的序列圖像，道路參數也有歷史紀錄，由于在車輛運行中，我們經過一個短暫的瞬時抓取圖像，因此道路參數可依靠歷史紀錄限定搜索的范圍，從而提高搜索的準確性，縮短搜索時間。下面介紹啟動模式的搜索算法： 經過前邊對圖像噪聲的去除以及道路邊緣的增強處理后，攝像機攝取的圖像如下圖所示： 圖33 道路圖像 在進一步的圖像處理前，解釋一下4連通及8連通的概念：在一個連通集中的任意兩個象素之間，存在一條完全由這個集合的元素構成的連通路徑。有兩種可供選擇的連通性準則，如果只依據旁側相鄰的像素（上、下、左、右）確定連通，稱為4連通，如果再加上對角相鄰的（45度鄰點）象素也被認為是連通的，就是8連通，在這里，我們采用8連通準則，通常8連通的結果與人的感覺更接近5。 經過對車輛在實際駕駛中，所拍攝到的路面狀況分析，發現在攝像機視野內主要是車輛所在當前車道的道路標識線，而其他車道的標志線較遠，并且在圖像底部只存在當前車道線的白色標識線（如圖34），這就簡化了我們的搜索方法，在圖像底部開始搜索，滿足我們要求的線段點就是道路標識吉林大學碩士學位論文 24線。 邊緣搜索思路： 1）遍歷二值化圖像的點(從圖像的底部中間開始) 2）按照點搜索算法找到一起始點，滿足起始點的要求則記為（） 3）以起始點開始，搜索出線段的幾個點，此為搜索出的局部線段，在一定步長之內搜索不到點則結束本步驟。 4）以上次搜索起始點為橫向搜索邊界，繼續從圖像中間開始按2）3）步驟搜索出一局部線段，該步驟重復進行，直到達到要求的搜索點數，或者到達規定圖像位置。 在道路曲線邊界搜索算法中，部分采用了文獻11中的思路，其思想簡要介紹如下： 搜索道路邊緣曲線就是搜索到該曲線上一定數量的點，因為曲線上的點之間是相互連通的，所以如果需要整個曲線上的任意點，我們可以首先搜索到該曲線的一個起始點，再分析該點的八連通情況，根據對該曲線的大致趨勢（左側邊緣向右生長，右側邊緣向左生長，這樣可以縮小搜索范圍），找出與起始點相連通的曲線上的下一個點，然后再以剛剛尋找到的點為起始點，搜索新起始點的下一個點，重復以上過程，就可以獲得整個曲線。但是，根據這種連通原則設計算法，系統所需的計算量還是比較大的，而且搜索過程中不容易保證點始終在曲線搜索，因此又結合其他思路。 第一、 擴大搜索區域，由原來的相鄰像素點搜索也就是2加到域，從區域的最后端開始搜索，省略掉起始點與目的點之間多余的生長搜索的運算，認為沿上圖所示方向得到的第一個點一定是目的點 圖34第三章 可行區域感知系統算法研究 25點生長搜索法的思路： 第二、變步長算法，該算法包括兩類變步長： 1、搜索變步長（在固定區域內，搜索不到點），為了處理搜索失敗的情況，如果曲線間斷距離較大，在固定的搜索區域內，搜索不到下一個點，系統就采用減小搜索區域的方法，直至找到點或不滿足步長要求。 2、區域變步長（圖像上不同位置對應的分辨率不同），圖像所包含的信息量隨位置的變化而變化，因此越靠近圖像頂端，步長應變小以保證整條曲線的精度。 左側路肩邊緣曲線右側路肩邊緣曲線 左側曲線 起始點O 右側曲線起始點515圖36 圖象道路邊緣示意圖 00000000000000000000000000000000000000000000000000000000000000000