機器視覺：1.概述機器視覺應用機器視覺發展簡史機器視覺任務

內容組織與教學建議

機器視覺的定義機器視覺的定義什么是機器視覺1.1什么是機器視覺Part14“百聞不如一見”：視覺占感知信息的75%-80%讓機器具有像人一樣的智能，能夠通過視覺感知和理解環境，是人類長久以來的夢想。機器視覺：讓機器如何“看到”的科學1.1什么是機器視覺Part15從圖像看視覺的直觀定義畫面里都有什么？人、車和房子在什么位置？目標在做什么？目標間有什么關系？1.1什么是機器視覺Part16目標的分割和識別；目標的三維位置信息；行為理解與分析；語義理解與推理。上述問題對應了視覺從底層到高層的不同認知層次：機器視覺任務正式定義基本任務2.1機器視覺的正式定義Part28機器視覺是使用光學器件進行非接觸感知，自動獲取和解釋一個真實場景的圖像，以獲取信息和(/或)控制機器或過程。SME(美國制造工程師協會)關于機器視覺的定義：機器視覺系統的輸入是外界環境圖像或圖像序列（視頻），輸出則是視覺處理后的信息，這些信息可作為最終結果直接反饋給人類或輸出至其他設備，作為最終控制及決策的依據。根據這一定義：2.2機器視覺基本任務Part29在制造業中，機器視覺的基本任務包括測量、檢測、定位與識別。92.2機器視覺基本任務Part210機器視覺基本任務——測量102.2機器視覺基本任務Part211機器視覺基本任務——檢測11外觀缺陷檢測2.2機器視覺基本任務Part212機器視覺基本任務——定位12坐標輸出定位內部特征定位2.2機器視覺基本任務Part213機器視覺基本任務——識別13光學字符識別顏色識別2.2機器視覺基本任務Part214除制造領域外，機器視覺還在消費電子、自動駕駛、醫療、能源等領域有廣泛應用，包括視覺引導機器人、視覺跟蹤系統、視覺輔助導航、自動駕駛、能源生產過程自動化等。14機器視覺發展簡史相關學科相關學科發展機器視覺發展3.1機器視覺相關學科Part316和如下學科密切相關：視覺神經生理學人工智能與機器學習數字圖像處理神經生理學圖像處理機器學習人工智能機器視覺3.2相關學科發展Part3171958年，美國DavidHubel和TorstenWiesel在JohnHopkins大學通過測試貓的視皮質細胞，發現視皮質細胞只對視網膜上的圖像的某些特定細節有反應，并且這些細胞似乎會自然映射到不同角度（1981年獲諾貝爾生理學獎）視覺神經生理學3.2相關學科發展Part318人的視覺系統采用分級信息處理方式，對應不同層次處理的細胞呈層狀排列，即視覺皮層。視覺神經生理學3.2相關學科發展Part319初級視覺系統中的神經元感受野較小，可實現高分辨率的視覺處理。每個感受野的時空結構可視為對圖像的給定屬性進行局部濾波的處理單元。隨著處理向高層移動，感受野越來越大，特征復雜度不斷增加。對象識別是視覺層次化處理的一個典型示例，可通過多層協同作用構造感受野的計算模型。視覺神經生理學3.2相關學科發展Part3201956年，在由達特茅斯學院舉辦的一次會議上，JohnMcCarthy等科學家聚在一起，在討論中提出“人工智能”(ArtificialIntelligence)一詞，人工智能就此誕生。人工智能與機器學習3.2相關學科發展Part321五十年代末到六十年代初是人工智能早期迅速發展的時期1986年Hinton發明BP算法，人工智能進入了第二次高潮期2016年，AlphaGo戰勝圍棋世界冠軍，人工智能進入新的階段人工智能與機器學習3.2相關學科發展Part322通過人工智能方法，機器視覺一方面可以解決更為復雜的問題，如根據視頻自動生成描述字幕，在復雜環境中輔助人類進行自動駕駛等；另一方面，可針對不同的問題建立共性的處理方法，如機器學習分類算法、深度學習等，為機器視覺的研究開辟了新的思路。人工智能與機器學習3.2相關學科發展Part323對已有的圖像進行變換、分析、重構，得到的仍是圖像。機器視覺是給定圖像，從圖像提取信息，包括景象的三維結構，運動檢測，識別物體等。數字圖像處理2007年11月5日，我國嫦娥1號探月衛星使用CCD相機拍攝的第一張月球表面圖像3.3機器視覺發展Part324孕育期(20世紀70年代前)：早期機器視覺相關工作啟蒙期(20世紀80-90年代)：機器視覺誕生，并產生主要分支探索期(20世紀90年代中期-2012)：機器視覺+機器學習爆發期(2012-至今):卷積神經網絡與深度學習機器視覺的發展大致經歷了四個階段：3.3機器視覺發展Part325早期的工作圍繞統計模式識別和視覺理解基礎工作展開機器視覺的發展——孕育期3.3機器視覺發展Part3261963年，LarryRoberts發表“三維固體的機器感知”論文，視覺世界被簡化為簡單的幾何形狀，而Larry試圖從圖像中解析出這些邊緣和形狀1966年，MIT的Minsky指導本科生G.Sussman“在暑期將攝像機連接到計算機上，讓計算機來描述他所看到的東西”。這一研究被認為是機器視覺的開創工作機器視覺的發展——孕育期3.3機器視覺發展Part3271982Marr的“Vision:Acomputationalinvestigationintothehumanrepresentationandprocessingofvisualinformation”，標志著機器視覺的誕生。機器視覺的發展——啟蒙期3.3機器視覺發展Part328Marr認為從二維圖像恢復三維物體，經歷了自下而上的三個階段機器視覺的發展——啟蒙期3.3機器視覺發展Part329此后，很多重要的數學工具被引入機器視覺，并建立分支圖像尺度空間表達機器視覺的發展——啟蒙期3.3機器視覺發展Part330此后，很多重要的數學工具被引入機器視覺，并建立分支基于馬爾科夫隨機場模型(MarkovRandomField,MRF)視覺處理機器視覺的發展——啟蒙期a)含噪圖像b)去噪圖像3.3機器視覺發展Part331此后，很多重要的數學工具被引入機器視覺，并建立分支基于攝影幾何理論的多視幾何機器視覺的發展——啟蒙期3.3機器視覺發展Part332此后，很多重要的數學工具被引入機器視覺，并建立分支偏微分方程(PDE)及變分法應用機器視覺的發展——啟蒙期基于Snake活動輪廓模型的圖像分割3.3機器視覺發展Part33320世紀90年代中后期開啟的特征工程時代重點圍繞復雜場景視覺識別、分類等任務，機器學習等技術與機器視覺結合日益緊密。機器視覺的發展——探索期3.3機器視覺發展Part334基于深度學習的處理方法的效果已全面超越傳統算法，并在實際中開始廣為應用機器視覺的發展——爆發期3.3機器視覺發展Part335我國機器視覺產業起步相對較晚，近年來隨著國家大力推進制造業轉型和智能制造，國內制造業升級轉型和國產化替代的趨勢明顯加快，市場規模快速提升。2017年至2022年，我國機器視覺市場規模由59億元增長至225億元，復合增長率達30.7%。隨著宏觀環境的改善、機器視覺技術的成熟及下游領域的拓寬，我國機器視覺行業將持續快速發展。機器視覺的發展——爆發期機器視覺應用機器視覺應用Part437機器視覺已滲透到了人類日常生活中的幾乎每個方面4.1機器人視覺分揀Part438機器視覺可以輔助機器人對傳送帶上的目標進行識別和跟蹤，并將相應信息反饋給控制器，引導機械手臂完成自動分揀任務。4.1機器人視覺分揀Part439基于視覺識別的機器人智能分揀工作流程：4.1機器人視覺分揀Part440實際機器人智能分揀系統4.2智能視頻監控Part4411.對視頻內容按照語義關系，采用目標分割、圖像識別、分類、跟蹤等處理，將信息濃縮為結構化文本或可視化圖像/視頻摘要信息。4.2智能視頻監控Part4422.智能交通監控系統是智能視頻監控的另一重要應用。4.3表面缺陷檢測Part443采用通過機器視覺技術，對鋰電池表面的露鋁、凹痕、劃痕、凹坑、針孔等缺陷進行自動檢測。4.4機器人視覺同時定位與建圖Part444采用視覺傳感器，在機器人操作的過程中對自己本身位姿進行估計，并且能夠建立環境的信息。4.4機器人視覺同時定位與建圖Part445算法在某室內辦公室數據集上運行效果：內容組織與教學建議5.1內容組織Part547教材內容組織5.2教學建議Part548（以下根據情況選擇）本科5.2教學建議Part549（以下根據情況選擇）研究生感謝各位的聆聽！屈楨深PPT版權屬于作者，PPT中引用的圖像，網頁等版權屬于各自持有者機器視覺：2.圖像獲取圖像量化與表達視覺信息獲取照明和顏色

圖像壓縮與視頻壓縮

人類視覺感知人類視覺感知什么是機器視覺1.1人眼結構Part154人眼可感知來自直接來自太陽等光源發射或被其它物體反射的光子。具體來說，可感知380至720nm（420–790THz）部分輻射的電磁波人眼在光譜的綠色區域具有555nm左右的峰值靈敏度，這主要因為地表生活區域綠植覆蓋人眼在可感知的亮度范圍內以近似對數而非線性的方式感知亮度1.1人眼結構Part155人眼結構：將人眼類比為相機，則晶狀體、瞳孔和視網膜就是鏡頭、光圈和成像傳感器。1.1人眼結構Part156視網膜中通常有大約1.3億個傳感器細胞，包括1.25億個視桿細胞和6-7百萬個視錐細胞。這些分布如圖2-3所示。其中視桿細胞主要負責暗視覺，視錐細胞則主要負責明視覺和色覺。1.1人眼結構Part157有三類視錐細胞，分別對應三種不同顏色的感應：其中約65%對應紅色，33%對應綠色，2%對應藍色，其歸一化吸收曲線如圖。人眼可識別的電磁波長大約為380-780nm。1.2視覺特性Part158(1)視覺關注在復雜場景中，人類視覺能快速定位重要區域并進行準確分析，對其它區域則有意忽視，這種主動選擇的機制稱為視覺關注視覺關注包括客觀內容驅動的自底向上關注模型和主觀命令指導的自頂而下關注模型。自底向上關注主要跟圖像內容的顯著性相關；那些與周圍區域具有較大差異性的目標更容易得到視覺關注。自頂而下關注則受意識支配，可將視覺關注強行轉移到某一特定區域1.2視覺特性Part159

1.2視覺特性Part160(3)視覺掩蓋對比度掩蓋：由于邊緣存在強烈的亮度變化，人眼對邊緣輪廓敏感，而對邊緣的亮度誤差不敏感紋理掩蓋：圖像紋理區域存在較大的亮度以及方向變化，人眼對該區域信息的分辨率下降運動掩蓋：視頻序列相鄰幀間內容的劇烈變動（如目標運動或者場景變化），導致人眼分辨率的劇烈下降在很暗的環境中人眼敏感顏色的錐狀細胞將失去作用，視覺功能由桿狀細胞產生，此時人眼僅能敏感灰度1.2視覺特性Part161(4)視覺內在推導機制對于待識別的輸入場景，人類視覺系統會根據大腦中的記憶信息，來推導、預測其視覺內容，同時那些無法理解的不確定信息將會被丟棄照明和顏色照明模型顏色模型2.1照明模型Part

263

Part

264以下列出光通量的一些典型值光源光通量說明太陽3.566×1028lm燭光12.56lm光通量的定義白熾燈/鹵鎢燈12～24

lm／W鹵鎢燈效率高于白織燈熒光燈和氣體放電燈50～120

lm／W氣體放電燈如鈉燈、汞燈和金屬鹵化物燈等LED燈110~150lm／W2.1照明模型Part

265

2.1照明模型Part

266照度指投射到一平表面上的輻射通量密度。指到達一表平面上，單位時間，單位面積上的輻射能以符號E表示，常用單位是lux(勒克斯)1

lux

=1lm/m22.1照明模型Part

267以下列出輻照度的一些典型值場景照度(lux)說明黑夜0.001～0.02月夜則是0.02～0.3陰天室內5～50陰天室外50～500晴天室內100～1000晴天室外1000~10000適合閱讀300～750閱讀書刊時需50～60家用攝像機標準照度14002.1照明模型Part

268

2.1照明模型Part

269以下列出一些常用表面的反射系數表面材質反射系數純黑體0黑天鵝絨0.01粗糙的混凝土0.20~0.30不銹鋼0.65白雪0.93理想鏡面12.1照明模型2.2顏色與顏色模型Part

270色彩與三原色2.2顏色模型Part

271

2.2顏色模型Part

272RGB顏色模型2.2顏色模型Part

273RGB顏色模型4.2顏色模型Part

474HSI顏色模型色調H是描述純色的屬性（如紅色、黃色等）飽和度S表示的是一種純色被白光稀釋的程度的度量亮度體現了無色的光強度概念，是一個主觀的描述4.2顏色模型Part

475YUV與YCbCr顏色模型YUV模型是另一類將亮度分量與色度分量分離表達的顏色模型，其中Y為亮度通道，U和V為色度通道。YUV顏色模型在彩色電視信號傳輸中使用，可以很好的解決彩色與黑白電視機的兼容問題YCbCr則是YUV一種變體，目前在數字圖像和視頻表達中廣為使用。其中Y表示亮度，Cb反映的是RGB輸入信號藍色部分與RGB信號亮度值之間的差值，Cr則反映的是紅色部分與亮度之間的差值。視覺信息獲取CMOS與CCD傳感器彩色傳感器深度傳感器3.1CCD與CMOS傳感器Part377CCD傳感器由二維傳感器陣列組成，每個最小構成單元是一個二極管，對應一個像素。可以存儲接收到的光子，將到達的光信號轉換為電信號；最后將各單元存儲的電荷輸出。3.1CCD與CMOS傳感器Part378CMOS傳感器在光檢測方面和CCD相同，都利用了硅的光電效應原理，不同點在于光產生電荷的讀出方式。3.1CCD與CMOS傳感器Part379傳感器的主要參數：(1)傳感器尺寸(2)分辨率(3)靈敏度(4)動態范圍3.2彩色圖像傳感器Part380為獲得彩色圖像，需要同時敏感顏色空間的不同分量，實際中在常規傳感器表面覆蓋一個含特定圖案排列的含紅綠藍三色單元的濾膜，再加上對其輸出信號的處理算法，可實現圖像傳感器輸出彩色圖像數字信號。彩色圖像傳感器原理3.2彩色圖像傳感器Part381彩色濾色片陣列也稱為拜爾(Bayer)濾色鏡，排列在感光區上方。一般Bayer濾色鏡包含50%綠色、25%紅色和25%藍色陣列；這與人眼對綠色敏感度高的機制相一致。像素缺失的不同顏色分量可按插值計算。彩色圖像傳感器的Bayer模式3.3深度圖像傳感器Part382(1)雙目視覺是一類最常用的深度圖像感知方式，成像原理類似人眼，過兩個相隔一定距離的像機同時獲取同一場景的兩幅圖像。被動傳感深度圖像傳感器3.3深度圖像傳感器Part383(2)光場成像是一類較新的深度成像方式，目前最為普及的是基于微透鏡陣列的光場相機。被動傳感深度圖像傳感器3.3深度圖像傳感器Part384(2)光場成像宏觀上類似傳統成像結果，但將其中小圖像塊放大后可看到，其均由在每一個微透鏡下成的像構成，元素圖像與微透鏡一一對應。被動傳感深度圖像傳感器3.3深度圖像傳感器Part385(1)ToF(飛行時間)成像通過光發射裝置向目標場景發射連續的脈沖激光信號，然后用傳感器接收物體反射回的光脈沖。基于激光測距原理，利用發射和接收脈沖信號的時間差，可測量被測物體表面各位置的距離信息。主動傳感深度圖像傳感器3.3深度圖像傳感器Part386(1)ToF(飛行時間)成像成像效果展示：以彩色形式展示，顏色越靠近紅色表示到相機距離越近。主動傳感深度圖像傳感器3.3深度圖像傳感器Part387(2)結構光成像將產生的結構光投射至被測物體上，進一步通過圖像傳感器采集帶有結構光的圖案，根據模式圖像在圖像中的位置以及在物體表面的形變程度，利用三角原理計算即可得到場景中各點的深度信息。主動傳感深度圖像傳感器3.3深度圖像傳感器Part388不同類型深度圖像傳感器對比傳感類型ToF雙目光場成像結構光測距方式主動式被動式被動式主動式測量精度mm~cm級，與距離基本無關與距離相關，精度近距可達mm級與距離相關，mm~cm級與距離相關，精度近距可達mm級測量范圍由激光功率決定，幾米~幾十米內由基線長度決定，一般為幾米以內一般幾十厘米至幾米一般幾米以內影響因素不受光照變化和物體紋理影響，受多重反射影響。受光照和物體紋理影響大，夜晚和無紋理物體表面無法使用受光照和物體表面材質影響，夜晚無法使用。基本不受光照變化和物體紋理影響，但受反光和強光影響。圖像采集和量化采集與量化Gamma校正數字表達4.1采集和量化Part490圖像采樣圖像采樣實現對圖像空間坐標的離散化。采樣的過程相當于用一個網格把原始圖像覆蓋，然后通過采樣算法計算格子的值；采樣網格如何選取決定了圖像的空間分辨率。4.1采集和量化Part491圖像采樣下面演示對原始圖像進行采樣的過程。4.1采集和量化Part492圖像量化

4.1采集和量化Part493圖像量化圖像量化過程。4.2Gamma校正Part494非線性亮度感知圖像傳感器輸出圖像的亮度與真實光強呈線性關系，但人眼感受到的亮度與真實光強之間的關系是非線性的。4.2Gamma校正Part495Gamma校正由于傳感輸出與人類感知亮度的不一致性，通常在圖像傳感器輸出時對其進行Gamma校正。4.2Gamma校正Part496不同系數對應的Gamma校正效果

4.3圖像的數字表達Part497圖像可以用一個二維矩陣來表示

4.3圖像的數字表達Part498灰度圖像數字表示示意4.3圖像的數字表達Part499彩色圖像數字表示示意，具有RGB三個顏色分量4.3圖像的數字表達Part4100數字圖像采用二維矩陣表達，但計算機內存及硬盤等存儲器等均為一維線性組織，因此在圖像處理時需要將圖像轉換為線性表達。為此，可按照從左至右、從上至下的順序對圖像進行Z字形掃描，形成一維線性字節數據壓縮圖像與壓縮視頻CMOS與CCD傳感器彩色傳感器深度傳感器5.1圖像壓縮Part5102JPEG壓縮在1994年成為國際靜態圖像壓縮標準，編碼過程如圖。5.1圖像壓縮Part5103JPEG不同壓縮率結果對比5.2視頻壓縮Part5104視頻壓縮圖像幀內部和相鄰視頻幀之間存在大量冗余，因此可對視頻進行壓縮，以便于視頻存儲和傳輸。5.2視頻壓縮Part5105不同視頻壓縮率結果對比5.2視頻壓縮Part5106常見視頻壓縮格式名稱及壓縮前后的數據碼率比較序號名稱分辨率（像素）未壓縮碼率(bps)壓縮數據碼率(H.264,bps)壓縮數據碼率(H.265,bps)1D1(4CIF)704×5760.27G1.5M0.9M2720P1280×7201.24G3M1.8M31080P1920×10802.78G5M3M43M2048×15364.22G7M4.2M54M2560×14404.94G8M4.8M64K3840×216011.12G16M9.6M5.3視頻壓縮標準Part5107視頻壓縮標準演化5.3視頻壓縮標準Part5108H.26x（1）H.261：用于傳輸數據速率為64kbps及其整數倍的視頻信號（2）H.263：專為低數據速率傳輸設計（3）H.264：提供比H.263、MPEG-2和MPEG-4等現有標準更低的比特率（4）H.265：以較低的比特率提供更高的編碼容量5.3視頻壓縮標準Part5109MPEG-x（1）MPEG-1：以1.5Mbits/s的最大允許比特率壓縮視頻質量（2）MPEG-2：在電視廣播信號中實現高壓縮比，目標壓縮率為4–30Mbps（3）MPEG-4：在較低帶寬通道中高質量地傳輸視頻信號，常見壓縮比為100:1感謝各位的聆聽！屈楨深PPT版權屬于作者，PPT中引用的圖像，網頁等版權屬于各自持有者機器視覺：3.圖像處理數字形態學濾波邊緣檢測圖像濾波

圖像的傅里葉變換圖像的傅里葉變換頻域與時域典型的二維信號傅里葉變換1.1頻域與時域Part1114時域即時間域，自變量是時間，因變量是信號的變化，其動態信號描述信號在不同時刻的取值。頻域即頻率域，自變量是信號的頻率，因變量是信號的幅值，反映了信號幅值與頻率的關系。頻域與時域的定義1.1頻域與時域Part1115時域表達簡潔且直觀，例如，正弦波信號只需要幅值、頻率、相位三個特征量就可以進行表達，但對形狀相似的非正弦波信號很難加以區分。頻域表達更加深刻簡練，無論是正弦波信號還是非正弦波信號，都可以通過傅里葉積分或傅里葉變換將其分解為各次諧波，從而可以用各次諧波的幅值、頻率和相位來表示信號。頻域與時域的特點1.1頻域與時域Part1116以方波信號進行傅里葉展開為例，它等于多個不同頻率的正弦信號的疊加傅里葉展開示意圖1.1頻域與時域Part1117當我們對信號進行時域分析時，往往不能得到信號的所有特征，因為信號不僅與時間相關，還與頻率分布、相位分布等因素有關。因此，還需要對信號的頻率分布進行分析，也就需要在頻域內對信號進行表示。信號從時域到頻域的變換是通過傅里葉級數和傅里葉積分實現的，傅里葉級數是針對周期函數信號的變換，傅里葉積分是針對非周期函數信號的變換。頻域與時域的聯系與轉換1.2典型的二維信號Part1118沖激信號線性系統和傅里葉變換研究的核心是沖激及其取樣特性，連續變量t在t=0處的單位沖激函數表示為：限制條件：

1.2典型的二維信號Part1119沖激信號物理上，如果我們把t解釋為時間，那么一個沖激函數可以看成幅值無限、持續時間為0、具有單位面積的尖峰信號。一個沖激函數具有關于如下積分形式的采樣特性：

1.2典型的二維信號Part1120沖激信號假設f(t)在t=0處連續，則采樣特性得到函數f(t)在沖激位置的函數值。采樣特性的一種更為一般的情況是在t=t0處采樣，對應的單位沖激函數表示為。此時采樣特性變為：

1.2典型的二維信號Part1121連續信號的單位階躍信號的表達式為：令x表示一個離散變量。單位階躍信號u(x)在離散系統中定義如下：階躍信號1.2典型的二維信號Part1122階躍信號(a)單位連續階躍函數(b)單位離散階躍函數1.3傅里葉變換Part1123傅里葉變換的實質是將信號表示為無窮多個各次諧波的疊加，利用直接測量得到的原始信號，進行多次諧波信號疊加來得到正弦波信號的頻率、振幅和相位。與之對應的是傅里葉反變換，是將多次諧波的正弦波信號疊加為一個信號。傅里葉變換原理1.3傅里葉變換Part1124傅里葉變換將某些難以處理的時域信號轉換為易于處理與分析的頻域信號。隨后利用一些頻域分析方法對頻域信號進行處理和加工。最后再進行傅里葉反變換將處理后的頻域信號轉換為時域信號。傅里葉變換原理1.3傅里葉變換Part1125單變量連續函數

的單變量連續函數

定義為：若給出

，則其傅里葉反變換

的定義為：一維連續型傅里葉變換及其反變換1.3傅里葉變換Part1126二維連續函數的傅里葉變換定義為：若給定

，則其傅里葉反變換

的定義為：二維連續型傅里葉變換及其反變換1.3傅里葉變換Part1127單變量離散函數

的傅里葉變換

定義為：若給出

，則其傅里葉反變換

的定義為：一維離散型傅里葉變換（DFT）及其反變換1.3傅里葉變換Part1128二維離散函數的傅里葉變換定義為：若給定

，則其傅里葉反變換

的定義為：二維離散型傅里葉變換及其反變換1.3傅里葉變換Part1129a）一維傅里葉變換的極坐標表示

幅值或頻率譜為：其中和分別是的實部和虛部

相角或相位譜為：傅里葉變換的極坐標表示1.3傅里葉變換Part1130b）二維DFT的極坐標表示

幅值或頻率譜為：其中和分別是的實部和虛部

相角或相位譜為：傅里葉變換的極坐標表示1.3傅里葉變換Part1131傅里葉變換的頻率譜和相位譜(c)相位譜（a）原圖(b)頻率譜1.3傅里葉變換Part1132圖像的頻率是表征圖像中灰度變化劇烈程度的指標，是灰度在平面空間上的梯度。灰度變化得快頻率就高，灰度變化得慢頻率就低。傅里葉變換在圖像處理中的作用1.3傅里葉變換Part1133從物理效果看，傅立葉變換是將圖像從空間域轉換到頻率域，將圖像的灰度分布函數變換為圖像的頻率分布函數。傅里葉反變換是將圖像從頻率域轉換到空間域，將圖像的頻率分布函數變換為灰度分布函數。傅里葉變換在圖像處理中的作用1.3傅里葉變換Part1134傅立葉頻譜圖上明暗不一的區域，實質上是圖像上某一像素點與其鄰域像素點的灰度值差異，也就是梯度。梯度越大，頻率越高，能量越低，在頻譜圖上就越暗；反之梯度越小，頻率越低，能量越高，在頻譜圖上越亮。傅里葉變換在圖像處理中的作用圖像濾波線性濾波非線性濾波頻域濾波Part2136圖像濾波的操作過程為一個濾波模板（又稱濾波器、鄰域算子）在待處理圖像上移動，對每個濾波器覆蓋的區域進行點乘求和，得到的值作為中心像素點的輸出值。圖像濾波的基本思想2圖像濾波Part2137對于圖像的邊緣像素處，可以選擇對圖像邊緣進行擴充，例如，使用3x3的濾波器時，可以用0在原始圖像周圍增加一層像素。圖像濾波的基本思想2圖像濾波2.1線性濾波Part2138線性濾波器中心點的像素值與其他鄰域像素值存在線性關系，常見的線性濾波方法有方框濾波、均值濾波、高斯濾波。設濾波器大小為NxN，濾波器所在區域圖像的像素值為f(x,y)，其中x,y=1,2,3…,N。2.1線性濾波Part2139方框濾波：中心點的像素值為濾波器所在區域圖像的像素值之和，即均值濾波：該方法中心點的像素值為濾波器所在區域像素之和的平均值2.1線性濾波Part2140方框濾波的效果（a）原圖(b)加高斯噪聲(c)方框濾波后2.1線性濾波Part2141均值濾波的效果（a）原圖(b)加高斯噪聲(c)均值濾波后2.1線性濾波Part2142前兩種濾波方法認為不同位置上的噪聲是基本相同的，但是實際中不同位置上的噪聲存在差異，而常見的噪聲符合高斯分布，因此可以采用高斯濾波器進行濾波處理。高斯濾波考慮了像素離濾波器中心距離的影響，根據高斯分布公式和每個像素點距離中心像素點的位置計算出濾波器每個位置上的數值，從而形成一個高斯濾波器。二維高斯分布公式為：高斯濾波

2.1線性濾波Part2143以σ=1.5為例，可以得到模糊半徑為1的高斯模板高斯濾波2.1線性濾波Part2144為了保證九個點之和為1，要對得到的高斯模板進行歸一化操作，最終得到3x3高斯濾波器模板。高斯濾波2.1線性濾波Part2145高斯濾波的效果（a）原圖(b)加高斯噪聲(c)高斯濾波后2.1線性濾波Part2146三種濾波效果對比方框濾波均值濾波高斯濾波2.1線性濾波Part2147除了上述幾種常用的線性濾波，還可以根據實際任務需要，自定義一個濾波器的系數來實現自定義濾波。自定義濾波2.2非線性濾波Part2148線性濾波是對所有像素值的線性組合得到濾波的結果，因此含有噪聲的像素點也會被考慮進去，并且噪聲像素點會以更加柔和的方式存在于圖像中。非線性濾波可以利用邏輯判斷將噪聲像素點過濾掉，從而實現更好的濾波效果。其計算過程可能包括排序、邏輯計算等，常見的非線性濾波方法有中值濾波和雙邊濾波。2.2非線性濾波Part2149首先將濾波器范圍內的所有像素值按照從小到大的順序排序，然后選取排好序的序列中值作為濾波后濾波器中心點的像素值，后面操作同線性濾波，即移動濾波器重復進行排序取中值操作。中值濾波2.2非線性濾波Part2150中值濾波能在濾除噪聲的同時保留圖像的邊緣信息，因此得到了廣泛的應用。但中值濾波過程中的數據排序費時較多，尤其是對尺寸較大的圖像，需要進行大量的像素值比較，耗時較長，不利于圖像濾波處理的實時性；同時也容易產生圖像模糊的現象。中值濾波的優缺點2.2非線性濾波Part2151中值濾波的效果（a）原圖(b)加高斯噪聲(c)中值濾波后2.2非線性濾波Part2152前面幾種方法都會造成圖像模糊，使邊緣信息消失或減弱。為了保護邊緣信息在圖像濾波過程中不會損失，產生了邊緣保護濾波算法，其中最常用的邊緣保護濾波算法就是雙邊濾波。前面介紹的高斯濾波只關注位置信息，即距離中心點越近濾波器系數越大，距離越遠系數越小。而雙邊濾波是在高斯濾波的基礎上加入像素值差異指標，即同時考慮像素點的距離因素和像素值的差異，像素值差異越小系數越大，差異越大系數越小雙邊濾波2.2非線性濾波Part2153雙邊濾波原理2.2非線性濾波Part2154空間位置距離濾波器系數的生成公式為其中(k,l)為濾波器中心像素點的坐標;(i,j)為濾波器鄰域像素點的坐標；σd為距離標準差。雙邊濾波公式2.2非線性濾波Part2155像素值差異濾波器系數的生成公式為其中，函數f(i,j)表示要處理的圖像在（i,j）處的像素值,f(k,l)表示圖像在(k,l)處的像素值；σr為灰度標準差。雙邊濾波公式2.2非線性濾波Part2156上述兩式相乘，得到雙邊濾波器系數的生成公式距離標準差σd和灰度標準差σr是雙邊濾波器的重要參數，σd越大圖像越模糊，σr越大細節越模糊，所以可以根據3σ原則來選取合適的濾波器尺寸。雙邊濾波公式2.2非線性濾波Part2157雙邊濾波的效果（a）原圖(b)加高斯噪聲(c)雙邊濾波后2.3頻域濾波Part2158圖像濾波除在空間域進行外，還可以在頻域進行。頻域濾波主要分為低通濾波和高通濾波。在頻域上，低頻部分表示輪廓，高頻部分表示細節，因此可以使用低通濾波和高通濾波分別對圖像進行平滑和銳化處理。頻域濾波2.3頻域濾波Part2159頻域濾波過程2.3頻域濾波Part2160低通濾波器分為理想低通濾波器、高斯低通濾波器和Butterworth低通濾波器三種。理想低通濾波器的濾波非常尖銳，而高斯低通濾波器的濾波則非常平滑。Butterworth低通濾波器則介于兩者之間，當Butterworth低通濾波器的階數較高時，接近理想低通濾波器；階數較低時，則接近高斯低通濾波器。低通濾波2.3頻域濾波Part2161理想低通濾波器工作原理是，無衰減地通過以原點為圓心、D0為半徑的圓內所有頻率，而截斷圓外所有的頻率，圓心的頻率最低，為變換的直流分量。理想低通濾波器的函數表達式為理想低通濾波器2.3頻域濾波Part2162理想低通濾波器的過渡非常急劇，會產生振鈴現象。理想低通濾波器徑向橫截面圖像形式傳遞函數的透視圖2.3頻域濾波Part2163理想低通濾波器的效果原圖原圖的頻譜處理后的圖像處理后的頻譜2.3頻域濾波Part2164高斯低通濾波器的函數表達式見下式，從圖中可看出過渡特性非常平緩，因此不會產生振鈴現象。高斯低通濾波器（a）傳遞函數的透視圖(b)圖像形式(c)徑向橫截面2.3頻域濾波Part2165理想高斯低通濾波器的效果原圖原圖的頻譜處理后的圖像處理后的頻譜2.3頻域濾波Part2166Butterworth低通濾波器的函數表達式見下，n為階次Butterworth低通濾波器的過渡是理想低通濾波器和高斯低通濾波器的折中。同時，隨著階數的增加，過渡越來越劇烈，越接近理想低通濾波器；隨著階數的減少，過渡越來越平緩，越接近高斯低通濾波器。Butterworth低通濾波器2.3頻域濾波Part2167高斯低通濾波器的函數表達式見下式，從圖中可看出過渡特性非常平緩，因此不會產生振鈴現象。Butterworth低通濾波器（a）傳遞函數的透視圖(b)圖像形式(c)徑向橫截面2.3頻域濾波Part2168Butterworth低通濾波器的效果原圖原圖的頻譜處理后的圖像處理后的頻譜2.3頻域濾波Part2169高通濾波與低通濾波正好相反，通過過濾或者大幅度衰減低頻成分，同時利用高頻成分來實現圖像銳化操作。為了得到高通濾波器，通常可以通過用1減去對應的低通濾波器來實現。高通濾波器可分為理想高通濾波器、高斯高通濾波器和Butterworth高通濾波器三種。高通濾波2.3頻域濾波Part2170二維理想高通濾波器的函數表達式為理想高通濾波器(a)傳遞函數的透視圖(b)圖像形式(c)徑向橫截面2.3頻域濾波Part2171理想高通濾波器的效果原圖原圖的頻譜處理后的圖像處理后的頻譜2.3頻域濾波Part2172二維高斯高通濾波器的函數表達式為其中σ是關于中心的擴展度的度量高斯高通濾波器(a)傳遞函數的透視圖(b)圖像形式(c)徑向橫截面2.3頻域濾波Part2173理想高斯高通濾波器的效果原圖原圖的頻譜處理后的圖像處理后的頻譜2.3頻域濾波Part2174n階Butterworth高通濾波器的函數表達式為Butterworth高通濾波器（a）傳遞函數的透視圖(b)圖像形式(c)徑向橫截面

2.3頻域濾波Part2175Butterworth高通濾波器的效果原圖原圖的頻譜處理后的圖像處理后的頻譜邊緣檢測邊緣檢測原理邊緣檢測線性算子3.1邊緣檢測原理Part3177物體邊緣是圖像中非常重要的信息，提取圖像的邊緣信息有利于分析圖像中的內容，進而實現圖像中的物體分割、定位等操作。圖像的邊緣是指圖像中像素值發生突變的區域。圖像中像素值的變化趨勢，可以用圖像函數的導數表示，導數絕對值較大的區域就是圖像的邊緣區域。邊緣檢測原理3.1邊緣檢測原理Part3178但在像素值變化90°的區域，其導數為無窮大，遠遠超出計算機的數據范圍。而微分dy是將導數乘以一個無窮小量dx得到的，即。這樣就避免超出計算機數據范圍的問題，因此我們選擇微分來表示像素值的變化情況。邊緣檢測原理

3.1邊緣檢測原理Part3179微分只適用于連續信號，而現實中的圖像是離散信號，因此常常利用差分來代替微分，差分是用臨近的兩個像素值的差來表示像素值函數變化的導數。使用時必須使差分的方向和邊緣的方向相垂直，這就需要對圖像進行多方向差分運算，一般包括水平x方向、垂直y方向差分可分為前向差分和后向差分邊緣檢測原理3.1邊緣檢測原理Part3180前向差分是當前像素與下一個像素值的差，對于x方向的像素值函數變化的導數為后向差分則是當前像素與上一個像素值的差，x方向的像素值函數變化的導數為邊緣檢測原理3.1邊緣檢測原理Part3181無論是前向差分還是后向差分，其求導的結果都接近于兩個像素中間未知的梯度，而兩個像素中間沒有任何像素。想要表示某一像素處的梯度，需要采取其他差分方式，最接近的方式是用下一個像素值與上一個像素值的差來表示，即邊緣檢測原理3.2邊緣檢測線性算子Part3182先對算子與圖像的每個像素值做卷積和運算，再選取合適的閾值來提取圖像的邊緣。常見的有Roberts邊緣算子、Prewitt算子、Sobel算子和Scharr算子。一階導數的邊緣算子3.2邊緣檢測線性算子Part3183Roberts邊緣算子是一個2x2的模板，其像素梯度計算公式為故在點(i,j)處的水平與豎直邊緣檢測Roberts邊緣算子為一階導數的邊緣算子—Roberts算子3.2邊緣檢測線性算子Part3184該算子采用的是對角方向相鄰的兩個像素之差，通過局部差分計算檢測邊緣線條，常用來處理陡峭的低噪聲圖像。當圖像邊緣接近45°時，該算法處理效果更理想，但是檢測到的邊緣線條較粗，定位精度不高。一階導數的邊緣算子—Roberts算子邊緣檢測效果

（a）原圖3.2邊緣檢測線性算子Part3185Prewitt利用周圍鄰域8個點的灰度值來估計中心的梯度，它的梯度計算公式如下：Prewitt算子模板為：一階導數的邊緣算子—Prewitt算子3.2邊緣檢測線性算子Part3186Prewitt算子采用3x3模板對區域內的像素值進行計算，Robert算子的模板為2x2，故Prewitt算子的邊緣檢測結果在水平方向和垂直方向上均比Robert算子更加明顯。Prewitt算子適合用來識別噪聲較多、灰度漸變的圖像。一階導數的邊緣算子—Prewitt算子邊緣檢測效果（a）原圖

3.2邊緣檢測線性算子Part3187

一階導數的邊緣算子—Sobel算子3.2邊緣檢測線性算子Part3188一階導數的邊緣算子—Sobel算子邊緣檢測效果（a）原圖

3.2邊緣檢測線性算子Part3189雖然Sobel算子可以有效的提取圖像邊緣，但是對圖像中較弱的邊緣提取效果較差。為了有效地提取較弱的邊緣，需要將像素之間的差距拉大，于是引入了Scharr算子，其算子模板為：一階導數的邊緣算子—Scharr算子

3.2邊緣檢測線性算子Part3190一階導數的邊緣算子—Scharr算子邊緣檢測效果（a）原圖

3.2邊緣檢測線性算子Part3191根據二階導數過零點來檢測邊緣，常見的有Laplacian算子和LaplacianofGaussian(LOG)算子二階導數的邊緣算子3.2邊緣檢測線性算子Part3192對于圖像的二階微分可以用Laplacian算子來表示：在像素點f(x,y)的3x3領域內，有如下差分近似關系：二階導數的邊緣算子—Laplacian算子3.2邊緣檢測線性算子Part3193Laplacian算子模板為：Laplacian算子檢測邊緣的步驟分為兩步，第一步是用Laplacian算子模板與圖像進行卷積操作，第二步是對卷積后圖像，取像素值為0的像素點。二階導數的邊緣算子—Laplacian算子3.2邊緣檢測線性算子Part3194Laplacian算子雖然方法簡單，但是對噪聲十分敏感，同時也沒有提供邊緣的方向信息。為了抑制噪聲的干擾，Marr等人提出了LOG的方法，LOG算子首先采用高斯低通濾波器對圖像進行濾波處理，隨后再對圖像濾波結果進行二階微分運算二階導數的邊緣算子—LOG算子3.2邊緣檢測線性算子Part3195Laplacian算子和LOG算子邊緣檢測的效果（a）原圖(b)Laplacian算子(c)LOG算子3.2邊緣檢測線性算子Part3196上述兩類均是通過微分算子來檢測圖像邊緣，而Canny算子是在滿足一定約束條件下推導出來的邊緣檢測最優化算子。算法流程如下圖所示：Canny邊緣檢測3.2邊緣檢測線性算子Part3197a)濾波降噪處理，一般采用高斯濾波來去除噪聲。b)差分計算幅值和方向。首先利用邊緣差分算子計算水平和垂直方向的差分Gx和Gy，然后計算其梯度幅值G和方向θCanny邊緣檢測的具體操作3.2邊緣檢測線性算子Part3198c)非極大值抑制。對圖像進行梯度計算后，僅基于梯度值提取到的邊緣仍舊模糊。不滿足最優邊緣檢測特征中的最小響應要求，而非極大值抑制則可以將局部最大值之外的剩余梯度值抑制為0，可以大大增強圖像的邊緣信息。Canny邊緣檢測的具體操作3.2邊緣檢測線性算子Part3199d)雙閾值檢測。在非極大值抑制之后，余下像素可以較準確地表示圖像中的邊緣信息，但是，仍然存在由于噪聲和顏色變化等因素造成的一些錯誤邊緣像素。Canny邊緣檢測的具體操作3.2邊緣檢測線性算子Part3200e)抑制孤立低閾值點。經過雙閾值檢測，被標記為強邊緣的像素點已經確定為邊緣，但對于弱邊緣像素卻不一定，因為這些像素既可能從真實邊緣提取也可能是因噪聲或顏色變化引起的。為了獲得準確的結果，應該抑制由后者引起的弱邊緣。通常認為真實邊緣引起的弱邊緣點和強邊緣點是連通的，而由噪聲引起的弱邊緣點則不會。Canny邊緣檢測的具體操作3.2邊緣檢測線性算子Part3201故可以通過查看弱邊緣像素的8個鄰域像素，只要其中一個為強邊緣像素，則該弱邊緣點就可以保留為真實的邊緣，否則去除該像素點。Canny邊緣檢測的具體操作3.2邊緣檢測線性算子Part3202Canny邊緣檢測的效果（a）原圖(b)低閾值Canny邊緣檢測(c)高閾值Canny邊緣檢測數字形態學濾波數字形態學濾波基礎數字形態學運算4.1數字形態學濾波基礎Part4204數字形態學是一種特殊的數字圖象處理方法和理論，不同于空間域和頻率域算法，數學形態學以圖像的形態特征為研究對象，通過設計一整套變換、概念和算法，用以描述圖像的基本特征。概述4.1數字形態學濾波基礎Part4205利用數學形態學可以對圖像進行增強、分割、邊緣檢測、形態分析、骨架化等處理。數學形態學最基本的變換是膨脹和腐蝕。需要注意的是在數學形態學變換之前，需要將圖像轉化為灰度圖像，再經過二值化轉化為二值圖像概述4.1數字形態學濾波基礎Part4206膨脹(dilated)是圖像中的高亮部分進行膨脹，領域擴張，效果圖擁有比原圖更大的高亮區域。具體操作是將結構元素覆蓋范圍內的最大值賦給中心點，也就是求局部最大值；膨脹與腐蝕4.1數字形態學濾波基礎Part4207腐蝕是圖像中的高亮部分被腐蝕掉，領域縮減，效果圖擁有比原圖更小的高亮區域。具體操作是將最小值賦給中心點，即求局部最小值。膨脹與腐蝕4.1數字形態學濾波基礎Part4208膨脹的效果(a)原圖(b)膨脹后4.1數字形態學濾波基礎Part4209腐蝕的效果(a)原圖(b)腐蝕后4.2數字形態學運算Part4210圖像腐蝕可以去除掉細小的噪聲區域，但是圖像主要區域的面積會縮小，使得主要區域形狀發生改變。圖像膨脹可以填充較小的空洞，但也會增加噪聲的面積。概述4.2數字形態學運算Part4211根據腐蝕和膨脹不同的特性，我們可以將兩者進行結合，便可以既去除細小噪聲，又不會減少圖像的主要區域；既填充較小空洞，又不會增加噪聲區域。以腐蝕和膨脹這兩種基本運算為基礎，可以得到其他幾個常用的數學形態運算：開運算、閉運算、頂帽運算、黑帽運算、擊中、細化和粗化等，下面對這些常用數學形態運算進行詳細闡述。概述4.2數字形態學運算Part4212

（1）開運算

4.2數字形態學運算Part4213如所示，設目標圖像為A，如左圖，其中白色部分代表背景，灰色代表目標X；右圖為結構元素B，其中紅色為原點位置（1）開運算4.2數字形態學運算Part4214首先進行腐蝕操作，腐蝕過程（左圖）及結果（右圖）如所示。（1）開運算4.2數字形態學運算Part4215再進行膨脹操作，如所示，遍歷處理過程如左圖，膨脹后結果如右圖。（1）開運算4.2數字形態學運算Part4216圖像開運算可以去除圖像中的噪聲，消除較小的連通域，保留較大的連通域，同時能夠在兩個物體較細的連接處將兩個物體分離，并且在不改變較大連通域面積的同時能夠平滑連通域的邊界。（1）開運算4.2數字形態學運算Part4217（1）開運算的效果(a)原圖(b)開運算后4.2數字形態學運算Part4218如所示，設目標圖像為A，如左圖，其中白色部分代表背景，灰色代表目標X；右圖為結構元素B，其中橘黃色為原點位置。（2）閉運算4.2數字形態學運算Part4219首先進行膨脹操作，如所示，腐蝕過程（左圖）及結果（右圖）如下（2）閉運算4.2數字形態學運算Part4220再進行腐蝕操作，遍歷處理過程如左圖，膨脹后結果如右圖（2）閉運算4.2數字形態學運算Part4221圖像閉運算可以去除連通域內的小型空洞，平滑物體輪廓，連接兩個相鄰的連通域。（2）閉運算4.2數字形態學運算Part4222（2）閉運算的效果(a)原圖(b)閉運算后4.2數字形態學運算Part4223圖像頂帽運算是由原始圖像減去圖像開運算得到的結果，目的是為了獲取圖像的噪聲信息。（3）頂帽運算4.2數字形態學運算Part4224（3）頂帽運算的效果(a)原圖(b)頂帽運算后4.2數字形態學運算Part4225圖像黑帽運算是由圖像閉運算操作減去原始圖像得到的結果，目的是獲取圖像內部的小孔，或者前景色中的小黑點。（4）黑帽運算4.2數字形態學運算Part4226（4）黑帽運算的效果(a)原圖(b)黑帽運算后4.2數字形態學運算Part4227擊中擊不中變換是比圖像腐蝕要求更加嚴格的一種形態學運算，圖像腐蝕只需要圖像能夠將結構元素中所有的非零元素包含，但是擊中擊不中變換在圖像腐蝕基礎上還要求包含零元素。換句話說，只有當結構元素與其覆蓋的圖像區域完全相同時，中心像素的值才會被置為1，否則為0。（5）擊中擊不中變換4.2數字形態學運算Part4228（5）擊中擊不中變換原理示意圖4.2數字形態學運算Part4229（5）擊中擊不中變換的效果(a)原圖(b)擊中擊不中變換后4.2數字形態學運算Part4230圖像細化是將圖像的線條寬度所占像素減少，又稱“骨架化”或“中軸變換”。圖像細化一般要求保證細化后的連通性、能夠盡可能保留圖像的細節信息、線條的端點保持完好同時線條交叉點不能發生畸變。（6）圖像細化與粗化4.2數字形態學運算Part4231圖像細化主要適用于由線條形狀構成的物體，例如圓環、文字等。圖像的粗化與細化相反，其實現過程是通過對圖像的二值化補集進行細化后得到。（6）圖像細化與粗化4.2數字形態學運算Part4232（6）圖像細化的效果(b)細化后進一步二值化(a)原圖總結5總結Part5234首先介紹了圖像傅里葉變換的基礎知識，包括頻域與時域的區別與聯系，傅里葉變換的原理與圖像處理中的應用。然后，介紹了空間域和頻率域的圖像濾波方法，其中空間域濾波又包括線性濾波和非線性濾波，線性濾波主要包括方框濾波、均值濾波、高斯濾波等，非線性濾波主要包括中值濾波、雙邊濾波。頻域濾波主要包括低通濾波和高通濾波。5總結Part5235此外，本章介紹了如何通過濾波得到圖像的邊緣信息，重點介紹了一、二階導數的邊緣算子和Canny邊緣算子，其中一階導數的邊緣算子包括Roberts算子、Sobel算子和Prewitt算子，二階導數的邊緣算子包括Laplacian算子和LaplacianofGaussian(LOG)算子。最后，本章還介紹了數學形態學濾波，包括圖像膨脹、腐蝕的基本變換和開運算、閉運算、頂帽運算、黑帽運算、擊中、細化和粗化等常用運算。感謝各位的聆聽！屈楨深PPT版權屬于作者，PPT中引用的圖像，網頁等版權屬于各自持有者機器視覺：4.圖像分割與描述活動輪廓與Snake模型分水嶺分割算法基于區域生長的圖像分割

圖像標記

圖像直方圖與閾值分割圖像描述圖像直方圖與閾值分割圖像直方圖閾值分割局部閾值分割圖像直方圖與閾值分割Part

1240對一幅灰度圖進行圖像分割，首先想到的就是基于像素的灰度值進行分割。對一幅灰度圖來說，圖像中各個物體區域內部的灰度值往往是相似且連續的，而不同區域之間的灰度值存在較大差別。如果將一幅灰度圖劃分為目標和背景兩個部分，通常來說，目標的灰度值處于不同區間。基于這種特性，可使用基于閾值的圖像分割方法，即設定一個基準的灰度值，高于該值的設定為一個區域，低于該值的設定為另一個區域。設輸入圖像為f，閾值分割后的輸出圖像為g，閾值為T，則閾值分割過程可表示為：圖像直方圖與閾值分割Part

1241（a）原始灰度圖（c）閾值過高時的分割效果（b）閾值合適時的分割效果（d）閾值過低時的分割效果圖像直方圖與閾值分割Part

1242本節介紹幾種常用的閾值選取方法，包括基于圖像直方圖的閾值選取及自適應的閾值選取方法，這兩種方法都屬于全局閾值分割。此外，對于某些圖像，我們很難用一個統一的閾值將整幅圖像的目標和背景正確分離出來，可使用基于局部閾值分割的方法。1.1圖像直方圖Part

1243圖像直方圖——直方圖的定義圖像直方圖是一種用于描述數字圖像灰度分布情況的圖形統計工具。通俗來說，直方圖就是將圖像中所有像素的亮度或顏色值按照一定的間隔進行統計從而形成的一種統計圖形。在視覺處理中，它是一種常用工具，用來分析圖像的灰度特征、對比度、亮度均衡、顏色分布等。圖像直方圖通常以灰度值為橫坐標，以像素數量或像素占比為縱坐標。對于彩色圖像而言，可以分別計算各個通道（如紅、綠、藍通道）的直方圖，并將它們合并成一個多通道直方圖，以反映圖像的整體色彩分布。1.1圖像直方圖Part

1244圖像直方圖——直方圖的定義

1.1圖像直方圖Part

1245圖像直方圖——直方圖的定義1.1圖像直方圖Part

1246圖像直方圖——直方圖的定義1.1圖像直方圖Part

1247圖像直方圖——直方圖的定義通過對圖像直方圖的分析，可以得到以下信息：①亮度特征：圖像的亮度范圍、亮度平均值、亮度方差等信息。②對比度：圖像的對比度可以用直方圖的寬度和高度來反映，寬度越大代表圖像亮度值的變化越多，高度越高代表圖像中該亮度值的像素數量越多，從而說明圖像的對比度越大。1.1圖像直方圖Part

1248圖像直方圖——直方圖均衡化圖像在實際應用中，圖像直方圖被廣泛應用于圖像增強、圖像分割、圖像檢索等領域。直方圖均衡化是圖像直方圖的常見應用，目的是通過增強圖像的對比度來提高圖像的視覺效果。對輸入圖像像素的灰度值進行調整，使其分布更均勻，從而提高圖像的對比度，在圖像后處理、圖像增強等場景中具有廣泛應用。1.1圖像直方圖Part

1249圖像直方圖——直方圖均衡化1.1圖像直方圖Part

1250圖像直方圖——直方圖均衡化的步驟

1.1圖像直方圖Part

1251圖像直方圖——直方圖均衡化的步驟

1.2閾值分割Part

1252閾值分割——閾值分割的定義閾值分割是圖像處理中常用的一種方法，它可以將一幅圖像分成兩部分：背景和目標。閾值分割的基本思想是，將圖像中的像素值與一個預先設定的閾值進行比較，如果像素值大于閾值，則將其歸為目標；否則，將其歸為背景。若將整幅圖像都使用一個統一閾值進行分割，則稱為全局閾值分割；但有時圖像的光照環境比較復雜，圖像中各區域的灰度值差異很大，使用統一閾值無法將目標與背景分割出來，這時我們將圖像分成許多小的子區域，對每個子區域采用不同的閾值進行分割，這稱為局部閾值分割。1.2閾值分割Part

1253閾值分割——全局閾值分割的具體步驟①選擇一種閾值選擇方法（如基于灰度直方圖的閾值選擇、OTSU閾值法等），確定閾值；②將圖像中每個像素的灰度值與閾值進行比較，將像素歸為目標或背景部分；③將歸為目標或背景部分的像素設為不同的灰度值（通常是255和0），以便進行后續的處理或顯示。1.2閾值分割Part

1254閾值分割——基于圖像直方圖的閾值選擇從圖像直方圖我們能夠直觀地看出圖像灰度值的分布情況。通常來說，如果一幅圖像背景和目標的灰度值有明顯區別，那么該圖像的直方圖會呈現“雙峰”的形狀，且每個峰大致符合高斯分布。其中一個峰對應目標的灰度值分布，另一個峰對應背景的灰度值分布，兩個峰之間存在一個谷。如果選擇谷位置的灰度值作為閾值，就能很好地將背景與目標分割出來。1.2閾值分割Part

1255閾值分割——基于圖像直方圖的閾值選擇1.2閾值分割Part

1256閾值分割——基于最大類間方差法的自適應閾值選擇基于圖像直方圖的閾值選擇方法對背景和目標灰度值差異明顯的圖像有很好的效果，但需要人工選擇閾值，因此適用范圍有限。同時，在很多情況下，圖像直方圖的分布不會呈現清晰的雙峰。下面介紹一種自適應閾值選擇方法—最大類間方差法，該算法由大津（OTSU）在1979年提出，因此又稱為大津算法。1.2閾值分割Part

1257閾值分割——基于最大類間方差法的自適應閾值選擇

1.2閾值分割Part

1258閾值分割——基于最大類間方差法的自適應閾值選擇

1.2閾值分割Part

1259閾值分割——基于最大類間方差法的自適應閾值選擇

1.2閾值分割Part

1260閾值分割——基于最大類間方差法的自適應閾值選擇對于一些光照不均勻的圖像，使用統一閾值無法將背景與目標很好地分割出來，此時局部閾值分割是一種有效的解決方法。它在圖像不同區域內選擇不同的閾值，將圖像分成若干子區域。這種方法可以在不同的光照條件下對圖像進行有效的分割，因為不同區域的光照強度可能不同，因此閾值也會不同。1.3局部閾值分割Part

1261局部閾值分割對于下面介紹一種常用的局部閾值分割算法：①對某個像素值，原來為S，取其周圍n×n的區域，求區域均值或高斯加權值，記為T，將T作為局部閾值；②判斷S與T的大小關系，若S>T，則將S賦值為目標像素值，否則賦值為背景像素值。1.3局部閾值分割Part

1262局部閾值分割——常用的局部閾值分割算法上述方法為局部閾值分割的基本原理，在實際操作中，可以通過以下方法進行優化：①在實際操作中，通過卷積操作，即均值濾波或高斯濾波，實現求區域均值或高斯加權值；②增加超參數C，C可以為任何實數，將T-C作為比較的閾值而非T。1.3局部閾值分割Part

1263局部閾值分割——常用的局部閾值分割算法1.3局部閾值分割Part

1264局部閾值分割——常用的局部閾值分割算法除上述方法外，局部閾值分割的算法還有Sauvola算法、Niblack算法、Bradley算法等，不同的局部閾值分割算法的閾值計算方法不同，它們的計算速度、對噪聲的敏感性、分割效果也不同。1.3局部閾值分割Part

1265局部閾值分割——常用的局部閾值分割算法基于區域生長的圖像分割區域生長與圖像填充種子點的自動選取區域生長準則區域生長是一種聚類分割方法，按照預定義的生長準則，將具有相似性質的像素和子區域組合成為更大區域，最終形成分割結果。其基本實現為在圖像中選取一組點作為“種子”，也就是區域生長的起點，將與種子點具有相似的預定義像素性質的鄰域像素點，加入到對應種子點的區域中，實現區域生長，以剛加入種子點區域中的像素點作為新的起點向外擴張，直到沒有滿足條件的像素點加入，則生長完成了一個目標區域。2.1區域生長與圖像填充Part

2267區域生長與圖像填充2.1區域生長與圖像填充Part

2268區域生長與圖像填充2.1區域生長與圖像填充Part

2269區域生長與圖像填充2.1區域生長與圖像填充Part

2270區域生長與圖像填充區域生長算法的準確性依賴于種子點也就是生長起始點的選取，僅靠手動選取種子點很難獲得較好的分割效果。2.2種子點的自動選取Part

2271種子點的自動選取2.2種子點的自動選取Part

2272種子點的自動選取因此，我們需要實現種子點的自動選取。在進行種子點自動選取時，有以下三個標準：①種子點與周圍像素點的灰度值相似：選擇種子點時，應盡可能選擇與周圍像素點灰度值相似的點。這樣可以確保分割結果的一致性和精確性。②在目標區域內至少挑選一個初始種子點：在多區域分割時，應在每個目標區域內至少挑選一個初始種子點，這樣可以保證每個目標區域都能被分割出來，并且分割結果準確。③不同區域之間的種子點不連通：在多區域分割時，應確保不同區域之間的種子點不連通，這樣可以避免分割結果出現重疊或缺失的情況，保證分割結果的準確性和可靠性。2.2種子點的自動選取Part

2273種子點的自動選取

2.2種子點的自動選取Part

2274種子點的自動選取

2.2種子點的自動選取Part

2275種子點的自動選取

2.2種子點的自動選取Part

2276種子點的自動選取區域分割算法，通過以種子點為起點，將與其滿足相似性原則的像素點加入對應的區域。用于判斷像素點間相似性的性質選取，取決于實際問題的需要以及待分割圖像數據的類型。比如，對于衛星圖像處理的依賴于彩色圖像的固有信息，對于單色圖像的處理依賴于灰度值和可表現出空間性質的描述子。2.3區域生長準則Part

2277區域生長準則如果在區域生長中，沒有考慮到像素點的連通性和相鄰性，只利用相似性原則進行判斷，則會產生錯誤的結果。舉個例子，生成一張灰度圖像，將其中灰度像素值相同的像素點設為一個“區域”，不考慮它們之間的連通性，最終得到的結果對當前問題會毫無價值。2.3區域生長準則Part

2278區域生長準則同樣，上文采用了基于區域內灰度相似性的生長準則，如果將上述實驗中的區域生長閾值替換為5，那么整個圖像都會成為目標區域，該分割結果將毫無意義，所以我們可以發現單純的采用生長閾值判斷作為生長準則分割結果是不穩定的，鄰近區域灰度變化較為緩和時，可能會出現像素點的錯誤歸類。2.3區域生長準則Part

2279區域生長準則所以在實際應用中，對生長準則進行了調整，計算當前觀測像素與種子像素顏色負差的最大值和當前觀測像素與種子像素顏色正差的最大值，人工設定種子點區域生長的下界和上界，當觀測像素點和種子點各通道差值在區域生長閾值范圍內，則將該點加入該種子點區域。2.3區域生長準則Part

2280區域生長準則2.3區域生長準則Part