計(jì)算機(jī)視覺(jué)戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材1、緒論人類視覺(jué)計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)的發(fā)展經(jīng)典計(jì)算機(jī)視覺(jué)理論計(jì)算機(jī)視覺(jué)的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求人類視覺(jué)人類約有80%的信息是通過(guò)視覺(jué)系統(tǒng)獲取的人類視覺(jué)的生理基礎(chǔ)：周圍環(huán)境中的物體在可見(jiàn)光的照射下，在人眼的視網(wǎng)膜上形成圖像，由感光細(xì)胞轉(zhuǎn)換成神經(jīng)脈沖信號(hào)，經(jīng)神經(jīng)纖維傳入大腦皮層進(jìn)行處理與理解。人類視覺(jué)電信號(hào)首先通過(guò)視神經(jīng)傳遞到大腦的初級(jí)視覺(jué)皮層（V1區(qū)），位于枕葉。隨后，這些信號(hào)被傳遞到次級(jí)視覺(jué)皮層（如V2、V3），在這些區(qū)域中，信號(hào)被用來(lái)解析更復(fù)雜的圖像屬性。進(jìn)一步的視覺(jué)信息傳遞到視覺(jué)聯(lián)合區(qū)域，如V4和V5，分別處理更細(xì)致的顏色和運(yùn)動(dòng)信息。大腦的顳葉和頂葉參與信息整合，顳葉處理面孔和物體識(shí)別，而頂葉處理空間定位和物體運(yùn)動(dòng)。1、緒論人類視覺(jué)計(jì)算機(jī)視覺(jué)機(jī)器視覺(jué)的發(fā)展經(jīng)典機(jī)器視覺(jué)理論機(jī)器視覺(jué)的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)是是一門致力于使計(jì)算機(jī)能夠從圖像或視頻中“看”和“理解”現(xiàn)實(shí)世界的科學(xué)。計(jì)算機(jī)視覺(jué)試圖實(shí)現(xiàn)人類視覺(jué)的信息獲取和處理的全過(guò)程，通過(guò)對(duì)圖像和視頻的分析處理，實(shí)現(xiàn)類似人類視覺(jué)感知功能。輸入：圖像（images）或視頻（video）輸出：對(duì)象的恢復(fù)以及對(duì)對(duì)象信息的使用圖1-3計(jì)算機(jī)處理圖像的基本過(guò)程計(jì)算機(jī)視覺(jué)通過(guò)對(duì)圖像和視頻信號(hào)進(jìn)行描述、存儲(chǔ)、識(shí)別與理解，感知三維環(huán)境中物體的幾何信息，包括形狀、位置、姿態(tài)、運(yùn)動(dòng)等。視覺(jué)機(jī)理視覺(jué)信息獲取（圖像獲取）采樣、量化、表示視覺(jué)信息處理（圖像處理）圖像預(yù)處理、濾波、變換、分割、特征表示和檢測(cè)視覺(jué)信息理解（圖像理解）三維信息恢復(fù)和重建、運(yùn)動(dòng)信息提取研究目標(biāo)：使機(jī)器像人那樣，通過(guò)視覺(jué)觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。1、緒論人類視覺(jué)計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)的發(fā)展經(jīng)典機(jī)器視覺(jué)理論機(jī)器視覺(jué)的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺(jué)的發(fā)展啟蒙階段（1960s-1980s）：

計(jì)算機(jī)視覺(jué)基礎(chǔ)理論探索與建立的階段LarryRoberts的博士論文標(biāo)志性地提出了從二維圖像中提取三維形狀的方法。重構(gòu)主義階段（1980s-2000s）：

傳統(tǒng)計(jì)算機(jī)視覺(jué)算法快速發(fā)展的階段建立專家系統(tǒng)來(lái)存儲(chǔ)先驗(yàn)知識(shí)，然后與實(shí)際項(xiàng)目中提取的特征進(jìn)行規(guī)則匹配。開(kāi)創(chuàng)了以理解三維場(chǎng)景為目的的三維視覺(jué)研究DavidG.Lowe提出了基于知識(shí)的視覺(jué)(Knowledge-basedVision)的概念ChrisHarris和MikeStephens提出Harris角點(diǎn)檢測(cè)算法DavidLowe在1999年提出的SIFT（尺度不變特征變換）算法計(jì)算機(jī)視覺(jué)的發(fā)展分類主義階段（2000s-2010s）：

計(jì)算機(jī)視覺(jué)技術(shù)的成熟與應(yīng)用探索階段一系列關(guān)鍵技術(shù)的成熟以及新應(yīng)用的探索PaulViola和MichaelJones提出的Viola-Jones人臉檢測(cè)算法成為了第一個(gè)能夠在實(shí)時(shí)環(huán)境中進(jìn)行人臉檢測(cè)的算法支持向量機(jī)（SVM）和隨機(jī)森林等機(jī)器學(xué)習(xí)算法特征提取技術(shù)如HOG（方向梯度直方圖）和LBP（局部二值模式）大數(shù)據(jù)、大模型和大算力階段（2010s-至今）：

大數(shù)據(jù)和大算力支撐下的深度學(xué)習(xí)技術(shù)迅猛發(fā)展并出現(xiàn)大模型的階段隨著計(jì)算機(jī)運(yùn)算能力的指數(shù)級(jí)增長(zhǎng)和ImageNet、PASCAL等超大型圖片數(shù)據(jù)庫(kù)的出現(xiàn)，深度學(xué)習(xí)技術(shù)帶領(lǐng)計(jì)算機(jī)視覺(jué)開(kāi)啟了一個(gè)新階段

FasterR-CNN、YOLO、GANBERT、GPT等大型預(yù)訓(xùn)練模型的適配和優(yōu)化，如OpenAI提出的CLIP模型[17]，展示了跨模態(tài)學(xué)習(xí)的巨大潛力。1、緒論人類視覺(jué)計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)的發(fā)展經(jīng)典機(jī)器視覺(jué)理論機(jī)器視覺(jué)的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求Marr計(jì)算視覺(jué)理論DavidMarr(1945-1980)是英國(guó)心理學(xué)家。他將心理學(xué)、人工智能和神經(jīng)生理學(xué)的結(jié)果結(jié)合起來(lái)，對(duì)視覺(jué)的研究做出了重要貢獻(xiàn)。他是計(jì)算視覺(jué)的奠基人。1982年馬爾(DavidMarr)《視覺(jué)》一書(shū)的問(wèn)世，首次提出了視覺(jué)計(jì)算理論，是第一個(gè)系統(tǒng)的計(jì)算機(jī)視覺(jué)理論框架。Marr視覺(jué)理論(1) 計(jì)算理論：視覺(jué)系統(tǒng)的主要任務(wù)是從視網(wǎng)膜捕獲的二維圖像中重構(gòu)出物體的三維表面形態(tài)，這一過(guò)程通常被稱為“三維重建”。Marr將計(jì)算視覺(jué)分為三個(gè)層次：計(jì)算理論、表達(dá)與算法以及算法實(shí)現(xiàn)。(2) 表達(dá)與算法(2) 算法實(shí)現(xiàn)低層視覺(jué)中層視覺(jué)高層視覺(jué)圖像特征“要素圖”2.5D描述3D描述假定視覺(jué)系統(tǒng)是對(duì)視覺(jué)環(huán)境的被動(dòng)響應(yīng)假定視覺(jué)計(jì)算是由局部信息到整體信息的單向過(guò)程馬爾視覺(jué)計(jì)算理論認(rèn)為，物體的表達(dá)形式為該物體的三維幾何形狀。（不完全正確）軟件和硬件Marr視覺(jué)理論信息處理的三個(gè)階段低層視覺(jué)（Low-levelvision）構(gòu)成要素圖（primalsketch），要素圖由二維圖像中的邊緣點(diǎn)、直線段、曲線、頂點(diǎn)、紋理等基本幾何元素或特征組成。Marr視覺(jué)理論信息處理的三個(gè)階段中層視覺(jué)（Intermediate-levelvision）構(gòu)成對(duì)環(huán)境的2.5維描述，在以觀察者為中心的坐標(biāo)系中描述部分的、不完整的三維信息。Marr視覺(jué)理論信息處理的三個(gè)階段高層視覺(jué)（High-levelvision）從2.5維描述得到物體的完整三維描述，三維結(jié)構(gòu)在以物體為中心的坐標(biāo)系中表示。主動(dòng)視覺(jué)理論Marr計(jì)算理論的不足：

缺乏靈活性和適應(yīng)性；缺乏明確的目的性和主動(dòng)性賓夕法尼亞大學(xué)的Bajcsy提出了“主動(dòng)視覺(jué)”概念，強(qiáng)調(diào)視覺(jué)過(guò)程應(yīng)融入人與環(huán)境的交互。馬里蘭大學(xué)的Aloimonos主張視覺(jué)應(yīng)具目的性，指出在許多應(yīng)用場(chǎng)景中，嚴(yán)格的三維重建并非必需，并提出了“目的和定性視覺(jué)”的理念。主動(dòng)視覺(jué)理論主動(dòng)視覺(jué)：重點(diǎn)研究“視覺(jué)注意力”機(jī)制，即腦皮層高層區(qū)域到低層區(qū)域的反饋機(jī)制。基于強(qiáng)化學(xué)習(xí)、可變形模型、生物啟發(fā)模型以及交互式視覺(jué)機(jī)制構(gòu)建視覺(jué)系統(tǒng)，以增強(qiáng)視覺(jué)系統(tǒng)的任務(wù)驅(qū)動(dòng)能力和適應(yīng)性，包括任務(wù)驅(qū)動(dòng)的視覺(jué)模型、端到端學(xué)習(xí)、優(yōu)化視覺(jué)注意力分配、反饋機(jī)制以及多任務(wù)學(xué)習(xí)等。主動(dòng)視覺(jué)的挑戰(zhàn)在于“如何根據(jù)特定任務(wù)優(yōu)化視覺(jué)系統(tǒng)”其關(guān)鍵是能夠識(shí)別和優(yōu)先處理對(duì)完成特定任務(wù)的視覺(jué)信息。多視幾何視覺(jué)理論多視幾何：多視幾何主要研究?jī)煞鶊D像對(duì)應(yīng)點(diǎn)之間的對(duì)極幾何約束,三幅圖像對(duì)應(yīng)點(diǎn)之間的三焦張量約束，空間平面點(diǎn)到圖像點(diǎn)，或空間點(diǎn)為平面點(diǎn)投影的多幅圖像點(diǎn)之間的單應(yīng)約束等。攝像機(jī)標(biāo)定：為了提高三維重建的精度，需要對(duì)相機(jī)內(nèi)參數(shù)進(jìn)行估計(jì)。相機(jī)標(biāo)定包含二方面的內(nèi)容：“成像模型選擇”和“模型參數(shù)估計(jì)”。（根據(jù)具體相機(jī)和具體應(yīng)用確定）基于學(xué)習(xí)的視覺(jué)理論流形學(xué)習(xí)：流形學(xué)習(xí)就是從圖像表達(dá)學(xué)習(xí)其內(nèi)在流形表達(dá)的過(guò)程，這種內(nèi)在流形的學(xué)習(xí)過(guò)程一般是一種非線性優(yōu)化過(guò)程。流形學(xué)習(xí)一個(gè)困難的問(wèn)題是沒(méi)有嚴(yán)格的理論來(lái)確定內(nèi)在流形的維度。深度學(xué)習(xí)：ImageNet等大規(guī)模圖像數(shù)據(jù)集的出現(xiàn)VGG、AlexNet、ResNet等深度學(xué)習(xí)網(wǎng)絡(luò)模型LLMs1、緒論人類視覺(jué)計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)的發(fā)展經(jīng)典機(jī)器視覺(jué)理論計(jì)算機(jī)視覺(jué)的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺(jué)的應(yīng)用領(lǐng)域安全監(jiān)控工業(yè)檢測(cè)軍事國(guó)防遙感氣象醫(yī)學(xué)診斷文化教育智能交通娛樂(lè)影視……安全監(jiān)控工業(yè)檢測(cè)軍事國(guó)防遙感氣象醫(yī)學(xué)診斷計(jì)算機(jī)視覺(jué)面臨的挑戰(zhàn)

人類視覺(jué)機(jī)理還不是完全清楚視覺(jué)感知技術(shù)有待變革多模態(tài)融合需要深入探索面向復(fù)雜開(kāi)放場(chǎng)景的模型泛化性亟待提高……1、緒論人類視覺(jué)計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)的發(fā)展經(jīng)典機(jī)器視覺(jué)理論計(jì)算機(jī)視覺(jué)的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求課程內(nèi)容和安排章節(jié)名稱教學(xué)內(nèi)容及重點(diǎn)（▲）、難點(diǎn)（★）第一章

緒論1.1機(jī)器視覺(jué)1.2計(jì)算機(jī)視覺(jué)▲1.3機(jī)器視覺(jué)的發(fā)展▲1.4經(jīng)典機(jī)器視覺(jué)理論▲1.5計(jì)算機(jī)視覺(jué)的應(yīng)用與挑戰(zhàn)▲第二章

圖像表示和處理2.1圖像表示▲2.2圖像的基本性質(zhì)▲2.3圖像處理數(shù)學(xué)基礎(chǔ)▲2.4圖像處理▲第三章

點(diǎn)特征表示3.1圖像點(diǎn)特征表示▲★3.2圖像特征點(diǎn)檢測(cè)算法

3.3圖像點(diǎn)特征應(yīng)用▲★第四章線特征表示4.1邊緣檢測(cè)4.2Snake模型▲4.3ASM/AAM模型

4.4霍夫變換第五章區(qū)域分割5.1區(qū)域分割的定義5.2傳統(tǒng)數(shù)字圖像區(qū)域分割算法▲★5.3基于深度學(xué)習(xí)的區(qū)域分割算法▲★章節(jié)名稱教學(xué)內(nèi)容及重點(diǎn)（▲）、難點(diǎn)（★）第六章紋理分析6.1紋理的概念▲★6.2經(jīng)典紋理分析方法▲★6.3基于深度學(xué)習(xí)的紋理分析方法▲★第七章攝像機(jī)成像模型7.1成像原理▲★7.2攝像機(jī)成像模型▲7.3攝像機(jī)標(biāo)定▲★第八章三維立體視覺(jué)重建8.1三維重建介紹▲★8.2多視幾何▲★8.3三維重建技術(shù)▲★8.4其他三維重建技術(shù)▲★第九章運(yùn)動(dòng)分析9.1運(yùn)動(dòng)分析簡(jiǎn)介▲9.2時(shí)間差分法▲★9.3背景減除法▲9.4光流法▲★第10章計(jì)算機(jī)視覺(jué)應(yīng)用10.1圖像分類▲10.2目標(biāo)檢測(cè)▲10.3目標(biāo)跟蹤▲課程要求基礎(chǔ)知識(shí)數(shù)學(xué)、圖像處理、圖形學(xué)、模式識(shí)別、人工智能、機(jī)器學(xué)習(xí)C/C++,matlab，Python程序設(shè)計(jì)參考文獻(xiàn)ComputerVision:AModernApproach,D.A.ForsythandJ.Ponce,2003,PearsonEducation；ImageProcessing,Analysis,andMachine,M.Sonka,V.Hlavac,andR.Boyle,2004,ThomsonLearning;ComputerVision:AlgorithmsandApplications,2ndEdition,RichardSzeliski,2022,Springer;計(jì)算機(jī)視覺(jué)——計(jì)算機(jī)理論與算法基礎(chǔ)，馬頌德，張正友，1998，科學(xué)出版社;計(jì)算機(jī)視覺(jué)——算法與系統(tǒng)原理，高文，陳熙霖，1999，清華大學(xué)出版社，廣西科學(xué)技術(shù)出版社CVPR,ICCV，ECCV，ACCV；IJCV機(jī)器視覺(jué)與其他學(xué)科的關(guān)系圖像處理(ImageProcessing)圖像處理，人是最終的解釋者計(jì)算機(jī)視覺(jué)，計(jì)算機(jī)是圖像的解釋者模式識(shí)別(PatternRecognition)根據(jù)從圖像中抽取的統(tǒng)計(jì)特性或結(jié)構(gòu)信息，把圖像分成設(shè)定的類別人工智能（Artificialintelligence）主要研究智能系統(tǒng)的設(shè)計(jì)和有關(guān)智能的計(jì)算理論與方法計(jì)算機(jī)圖形學(xué)（ComputerGraphics）計(jì)算機(jī)圖形學(xué)是一種使用數(shù)學(xué)算法將二維或三維圖形轉(zhuǎn)化為計(jì)算機(jī)顯示器的柵格形式的科學(xué)機(jī)器視覺(jué)：從二維圖像數(shù)據(jù)到三維描述機(jī)器視覺(jué)與其他學(xué)科的關(guān)系計(jì)算機(jī)圖形學(xué)謝謝！計(jì)算機(jī)視覺(jué)戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像表示圖像表示將連續(xù)函數(shù)采樣(sampled)為M行N列的矩陣將每個(gè)連續(xù)樣本量化(quantization)為一個(gè)整數(shù)值，即圖像函數(shù)的連續(xù)范圍被分成了K個(gè)區(qū)間采樣和量化的越精細(xì)，即增大M,N,K，連續(xù)圖像函數(shù)的近似性越好圖像表示連續(xù)圖像函數(shù)f(x,y)可通過(guò)平面上離散的柵格點(diǎn)來(lái)采樣圖像采樣點(diǎn)：兩個(gè)相鄰采樣點(diǎn)間，在x軸和y軸上的距離分別是Δx和Δy，稱距離Δx和Δy為采樣間隔，采樣后得到的矩陣fs(mΔx,nΔy)構(gòu)成了離散圖像采樣圖像是連續(xù)圖像函數(shù)f(x,y)與采樣函數(shù)s(x,y)的乘積圖像表示根據(jù)Shannon采樣定理即采樣間隔應(yīng)小于或等于圖像中感興趣的最小細(xì)節(jié)尺寸的一半。圖像表示采樣量化將采樣后的圖像fs(mΔx,nΔy)的像素值用一個(gè)整數(shù)來(lái)表示,為了是人能夠覺(jué)察出圖像的細(xì)微變化,量化的級(jí)別要足夠高大部分的圖像處理儀器都采用k個(gè)等間隔的量化方式,如果用b位來(lái)表示像素亮度的數(shù)值，那么亮度階就是k=2b通常使用每個(gè)像素8個(gè)比特，特殊的測(cè)量設(shè)備每個(gè)像素使用12個(gè)或更多的比特2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像的基本性質(zhì)距離(distance)兩點(diǎn)p(x,y)和q(u,v)之間的距離:歐氏距離：城區(qū)距離：棋盤(pán)距離：

圖像的基本性質(zhì)像素鄰接性(adjacency)4－鄰接：任意兩像素之間的距離為D4＝18－鄰接：任意兩像素之間的距離為D8＝1區(qū)域(region):由一些彼此鄰接的像素組成的集合連通性(contiguous)連通：一幅圖像的兩個(gè)像素之間存在一條路徑連通關(guān)系具有自反性、對(duì)稱性和傳遞性區(qū)域中沒(méi)有孔，稱為簡(jiǎn)單連通，有孔的區(qū)域稱為復(fù)連通圖像的基本性質(zhì)邊緣(edge)邊緣是圖像上灰度的不連續(xù)點(diǎn)，或者灰度變化劇烈的地方，它是一個(gè)有大小和方向的矢量邊界(border)區(qū)域R的邊界是其自身的像素集合，其中的每個(gè)點(diǎn)具有一個(gè)或多個(gè)R外的鄰接點(diǎn)邊界和邊緣不同，邊界是與區(qū)域有關(guān)的全局概念，而邊緣表示圖像函數(shù)的局部性質(zhì)；邊界與邊緣也相互關(guān)聯(lián)，一種尋找邊界的方法是連接顯著的邊緣圖像的基本性質(zhì)直方圖：給出了圖像中亮度值z(mì)出現(xiàn)的概率，一幅有L階的圖像直方圖由具有L個(gè)元素的一維數(shù)組表示算法：計(jì)算亮度直方圖創(chuàng)建大小為L(zhǎng)的一維數(shù)組H數(shù)組H的所有元素初始化為0對(duì)于圖像f的所有元素，做如下處理：圖像的基本性質(zhì)圖像中的噪聲實(shí)際圖像常受一些隨機(jī)誤差的影響而退化，這些退化稱為噪聲(noise)在圖像捕獲、傳輸或處理中都可能出現(xiàn)噪聲白噪聲(whitenoise)：具有常量的功率譜，強(qiáng)度不隨著頻率的增加而衰減。高斯噪聲(Gaussiannoise)是服從正態(tài)分布的隨機(jī)變量，一維情況下的概率密度函數(shù)為：圖像的基本性質(zhì)圖像中的噪聲噪聲有可能依賴于圖像內(nèi)容，也可能與之無(wú)關(guān)加性噪聲(additivenoise)：噪聲與出現(xiàn)的圖像信號(hào)無(wú)關(guān)乘性噪聲(multiplicativenoise)：噪聲的幅值與信號(hào)本身的幅值相關(guān)用信噪比SNR度量圖像的品質(zhì)，值越大越好計(jì)算噪聲貢獻(xiàn)的平方和：信號(hào)的所有平方和：信噪比：2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像處理數(shù)學(xué)基礎(chǔ)卷積傅里葉變換卷積(Convolution)二維函數(shù)f和h的卷積g記為f*h，由積分定義二維離散卷積傅立葉變換(FourierTransform)二維連續(xù)傅立葉變換及其逆變換二維離散傅立葉變換及其逆變換傅立葉變換傅立葉變換的結(jié)果F(u,v)通常為復(fù)數(shù)，令R(u,v)和I(u,v)分別表示F(u,v)的實(shí)部和虛部傅立葉頻譜：相位角：2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像處理圖像處理的目的是改善圖像數(shù)據(jù)，抑制不需要的變形或者增強(qiáng)某些對(duì)于后續(xù)處理重要的圖像特征像素亮度變換灰度映射直方圖均衡直方圖規(guī)定化圖像增強(qiáng)空域、頻域圖像復(fù)原像素亮度變換

灰度級(jí)變換

底片變換通過(guò)分段函數(shù)增強(qiáng)了圖像在亮度p1到p2間的對(duì)比度圖像二值化直方圖均衡化(histogramequalization)直方圖均衡化的目標(biāo)是創(chuàng)建一幅在整個(gè)亮度范圍內(nèi)具有相同亮度分布的圖像直方圖均衡化增強(qiáng)了靠近直方圖極大值附近的亮度的對(duì)比度，減小了極小值附近的對(duì)比度直方圖均衡化輸入直方圖H(p)，輸入灰度級(jí)范圍為[p0,pk]，直方圖均衡化的目標(biāo)：找到一個(gè)單調(diào)的像素亮度變換q=T(p)，使輸出直方圖G(q)在整個(gè)輸出亮度范圍[q0,qk]內(nèi)是均勻的直方圖可看作離散的概率密度函數(shù)，變換T是單調(diào)的若圖像有M行N列，均衡化后的直方圖G(q)對(duì)應(yīng)著均衡的概率密度函數(shù)，其函數(shù)值為一個(gè)常數(shù)直方圖均衡化公式代入：當(dāng)考慮“理想的”連續(xù)概率密度時(shí)，可以得到精確的均衡化直方圖得到像素亮度變換T積分稱為累計(jì)直方圖，在數(shù)字圖像中用求和近似，結(jié)果直方圖并不是理想均衡的直方圖均衡化算法：直方圖均衡化對(duì)于L(256)個(gè)灰度級(jí)、大小為M×N的圖像，創(chuàng)建長(zhǎng)為L(zhǎng)的數(shù)組H，初始化為0，形成圖像直方圖H形成圖像直方圖H通過(guò)將直方圖進(jìn)行歸一化和累加來(lái)計(jì)算累計(jì)直方圖Hc設(shè)置重新掃描圖像，根據(jù)變換T獲得直方圖近似為均勻分布的輸出圖像空域?yàn)V波局部預(yù)處理使用輸入圖像中像素的一個(gè)小鄰域內(nèi)的像素信息，產(chǎn)生輸出圖像中新的對(duì)應(yīng)像素的亮度值。這種預(yù)處理技術(shù)在使用信號(hào)處理的術(shù)語(yǔ)時(shí)被稱為濾波(filtering)。線性濾波：輸出圖像像素g(m,n)的計(jì)算結(jié)果是輸入圖像像素f(m,n)一個(gè)局部鄰域Ω的亮度線性組合。鄰域Ω中的像素貢獻(xiàn)通過(guò)系數(shù)h進(jìn)行加權(quán)：

h：濾波器、卷積掩膜、核、窗口非線性濾波：基于鄰域進(jìn)行非線性操作，如中值濾波空域?yàn)V波圖像平滑圖像平滑主要用來(lái)抑制噪聲，等價(jià)于抑制頻域中的高頻成分邊緣也屬于頻域中的高頻，平滑同時(shí)會(huì)模糊承載圖像中重要信息的邊緣，需要集中考慮具有邊緣保持功能的平滑方法此類方法的基本思路：僅使用鄰域中與被處理像素有類似性質(zhì)的點(diǎn)進(jìn)行平均平均(averaging)限制數(shù)據(jù)有效性下的平均(averagingwithlimiteddatavalidity)反梯度平均(averagingaccordingtoinversegradient)旋轉(zhuǎn)掩膜平均(averagingusingarotatingmask)中值濾波(medianfiltering)平均假設(shè)每個(gè)像素上的噪聲是一個(gè)均值為0，標(biāo)準(zhǔn)差為σ的獨(dú)立隨機(jī)變量，則可通過(guò)多次采集相同的靜態(tài)景物來(lái)獲得一幅平均圖像：平均圖像中的噪聲仍是隨機(jī)變量，均值為0，標(biāo)準(zhǔn)差為若只能獲得一幅帶有噪聲的圖像，則通過(guò)圖像的局部鄰域?qū)崿F(xiàn)平均如果噪聲大小小于圖像中感興趣的最小尺寸，處理結(jié)果是可以接受的，但仍存在邊緣模糊的問(wèn)題在單幅圖像中做平滑，需要假設(shè)圖像數(shù)據(jù)中的灰度級(jí)沒(méi)有變化，這種假設(shè)在圖像邊緣處顯然是不成立的平均平均是離散卷積的一個(gè)特例，對(duì)于3×3的鄰域，卷積掩膜h為：其他形式的卷積掩膜：加噪聲結(jié)果原始圖像10×10掩膜5×5掩膜限制數(shù)據(jù)有效性下的平均試圖僅使用滿足某種標(biāo)準(zhǔn)的像素做平均來(lái)避免模糊一個(gè)簡(jiǎn)單的準(zhǔn)則：設(shè)定非法數(shù)據(jù)范圍[min,max]，只有具有非法灰度級(jí)別的像素值才被其鄰域的平均所取代；只有有效的數(shù)據(jù)才對(duì)鄰域的平均有貢獻(xiàn)反梯度平均在每個(gè)像素上，根據(jù)反梯度計(jì)算卷積掩膜其基本思想是：區(qū)域內(nèi)部的亮度變化一般小于相鄰區(qū)域間的亮度變化設(shè)像素(m,n)是卷積掩膜的中心像素，像素點(diǎn)(i,j)相對(duì)于(m,n)的反梯度為 當(dāng)時(shí)，卷積掩膜： 中心像素上:旋轉(zhuǎn)掩膜平均通過(guò)搜索當(dāng)前像素鄰域的一致性部分來(lái)避免邊緣模糊，像素的平均操作只在具有一致性的區(qū)域內(nèi)進(jìn)行定義一個(gè)掩膜，將其在當(dāng)前像素周圍進(jìn)行旋轉(zhuǎn)。在旋轉(zhuǎn)過(guò)程中計(jì)算每個(gè)掩膜位置下像素值的平均值，并觀察這些平均值的變化設(shè)區(qū)域R的像素?cái)?shù)目是n，且輸入圖像是f，用亮度散布σ2度量區(qū)域的一致性:中值濾波基本思想：用鄰域中亮度的中值代替圖像當(dāng)前的點(diǎn)最大值最小值中點(diǎn)(max+min)/2最頻值窗口濾波加噪聲結(jié)果原始圖像3×3窗口2×2窗口頻域?yàn)V波假定原圖像f(x,y)，經(jīng)傅立葉變換為F(u,v)，頻域?yàn)V波就是選擇合適的濾波器函數(shù)H(u,v)對(duì)F(u,v)的頻譜成分進(jìn)行調(diào)整，然后經(jīng)逆傅立葉變換得到增強(qiáng)的圖像g(x,y)。該過(guò)程可以通過(guò)下面流程描述：

G(u，v)=H(u,v)·F(u,v),H(u,v)稱為傳遞函數(shù)或?yàn)V波器函數(shù)。頻域?yàn)V波原理低通濾波高通濾波帶通濾波同態(tài)濾波低通濾波（Lowpassfilters)

圖像從空間域變換到頻率域后，其低頻分量對(duì)應(yīng)圖像中灰度值變化比較緩慢的區(qū)域，高頻分量則表征圖像中物體的邊緣和隨機(jī)噪聲等信息。低通濾波是指保留低頻分量，而通過(guò)濾波器函數(shù)H(u,v)減弱或抑制高頻分量的在頻域進(jìn)行的濾波。低通濾波與空域中的平滑濾波器一樣可以消除圖像中的隨機(jī)噪聲，減弱邊緣效應(yīng)，起到平滑圖像的作用。D0是一個(gè)非負(fù)整數(shù)，D是從點(diǎn)（u，v）到頻率平面原點(diǎn)的距離即：理想低通濾波器的含義是指小于D0的頻率，即以D0為半徑的圓內(nèi)的所有頻率分量可以完全無(wú)損地通過(guò)，而圓外的頻率，即大于D0的頻率分量則完全被除掉。理想低通濾波器二維理想低通濾波器的傳遞函數(shù)如下：低通濾波的能量和D0的關(guān)系能量在變換域中集中在低頻區(qū)域。以理想低通濾波作用于N×N的數(shù)字圖像為例，其總能量為一個(gè)以頻域中心為原點(diǎn)，r為半徑的圓就包含了百分之

的能量根據(jù)對(duì)保留能量的要求來(lái)確定濾波器的截止頻率。

頻域低通濾波所產(chǎn)生的模糊示例r=5r=45r=11盡管只有7％的(高頻)能量被濾除，但圖像中絕大多數(shù)細(xì)節(jié)信息都已丟失了當(dāng)僅4％的高頻能量被濾除后，圖像中仍有明顯的振鈴效應(yīng)。理想低通濾波器的平滑作用非常明顯，但由于變換有一個(gè)陡峭的波形，它的反變換h(x,y)有強(qiáng)烈的振鈴特性，使濾波后圖像產(chǎn)生模糊效果。因此這種理想低通濾波實(shí)用中不能采用。“振鈴”現(xiàn)象H(u,v)h(x,y)理想低通濾波器巴特沃斯（Butterworth）低通濾波器巴特沃斯低通濾波器的傳遞函數(shù)為：D0為截止頻率，n為函數(shù)的階。一般取使H(u，v)最大值下降到最大值的0.5時(shí)的D(u,v)為截止頻率D0。Butterworth低通過(guò)濾器的截面圖H(u,v)作為D(u,v)/D0的函數(shù)的截面圖Butterworth低濾波效果D0=5D0=11D0=22D0=45n=2原始圖像D0特點(diǎn)：結(jié)果圖像的清晰度較理想低通濾波器有所改善，振鈴效應(yīng)也有所減弱。應(yīng)用時(shí)可調(diào)整D1值，既能達(dá)到平滑圖像的目的，又可以使圖像保持足夠的清晰度。梯形低通濾波器一般取使H（u,v）最大值下降至原來(lái)的1/2時(shí)的D(u，v)為截止頻率D0n=3D0指數(shù)低通濾波器特點(diǎn)：指數(shù)低通濾波器從通過(guò)頻率到截止頻率之間沒(méi)有明顯的不連續(xù)性，而是存在一個(gè)平滑的過(guò)渡帶。指數(shù)低通濾波器實(shí)用效果比Butterworth低通濾波器稍差，但仍無(wú)明顯的振鈴現(xiàn)象。

高通濾波（Highpassfilters)圖像的邊緣、細(xì)節(jié)主要在高頻，圖像模糊是由于高頻成分較弱產(chǎn)生的。為了消除模糊，突出邊緣，可以采用高通濾波的方法，使低頻分量得到抑制，從而達(dá)到增強(qiáng)高頻分量，使圖像的邊沿或線條變得清晰，實(shí)現(xiàn)圖像的銳化。理想高通濾波器梯形高通濾波器(GHPF)D1D0n=3巴特沃思(Butterworth)高通濾波器(BHPF)n=3指數(shù)高通濾波器(EHPF)IHPF濾波效果，D0=15，30，80。D0越小，振鈴效應(yīng)越明顯。BHPF,比IHPF的結(jié)果平滑得多。EHPF濾波效果高通濾波器比較小結(jié)理想高通有明顯振鈴，圖像的邊緣模糊不清。Butterworth高通效果較好，振鈴不明顯，但計(jì)算復(fù)雜。指數(shù)高通效果比Butterworth差些，但振鈴也不明顯。梯形高通的效果是微有振鈴、但計(jì)算簡(jiǎn)單，故較常用。帶阻濾波（Bandstopfilter）

帶通濾波（Bandpassfilter）在某些情況下，信號(hào)或圖像中的有用成分和希望除掉的成分主要分別出現(xiàn)在頻譜的不同頻段，這時(shí)允許或阻止特定頻段通過(guò)的傳遞函數(shù)就非常有用。帶阻濾波可在點(diǎn)(u0,v0)和(-u0,-v0)某個(gè)圓形鄰域D處設(shè)計(jì)帶阻濾波器，即抑制以(u0,v0)為中心，D0為半徑的鄰域中所有頻率都阻止通過(guò)的濾波器。它的濾波函數(shù)為：帶通濾波器與帶阻濾波器互補(bǔ)允許一定頻率范圍（阻止其它頻率范圍）Hp(u,v)可用帶阻濾波器HR(u,v)公式表示：

HP(u,v)=-[HR(u,v)-1]（a）被正弦噪聲污染的圖像（b）圖像（a）的頻譜（c）巴特沃思帶阻濾波器（d）濾波效果物體受到照度明暗不勻的時(shí)候，圖象上對(duì)應(yīng)照度暗的部分，細(xì)節(jié)難辨別。同態(tài)濾波(Homomorphicfiltering)根據(jù)成像模型，若照度為

i(x,y),反射系數(shù)為r(x,y),則：同態(tài)濾波可以消除不均勻照度的影響而又不損失圖象細(xì)節(jié)。依據(jù)：圖象的灰度由照射分量和反射分量合成。反射分量反映圖象內(nèi)容，隨圖象細(xì)節(jié)不同在空間上作快速變化。照射分量在空間上通常均具有緩慢變化的性質(zhì)。因此，照射分量的頻譜落在空間低頻區(qū)域，反射分量的頻譜落在空間高頻區(qū)域。但在頻率域中不能直接對(duì)照度場(chǎng)和反射系數(shù)場(chǎng)頻率分量分別進(jìn)行獨(dú)立的操作，即如果定義：這里I(u，v)、R(u，v)分別是lni(x,y)和lnr(x,y)的傅里葉變換。同態(tài)濾波就是利用上式的形式將圖像中的照明分量和反射分量分開(kāi),這樣濾波函數(shù)就可以分別作用在這兩個(gè)分量上。同態(tài)濾波(Homomorphicfiltering)（1）兩邊取對(duì)數(shù)：

（2）兩邊取付氏變換：（3）用頻域函數(shù)

H(u,v)處理

F(u,v)：（4）反變換到空域：（5）兩邊取指數(shù)：同態(tài)濾波處理步驟特點(diǎn)：能消除乘性噪聲，能同時(shí)壓縮圖象的整體動(dòng)態(tài)范圍 和增加圖象中相鄰區(qū)域間的對(duì)比度同態(tài)濾波流程圖H(u,v)一方面減弱了低頻另一方面加強(qiáng)了高頻。(a)降低曝光度的Lena圖

(b)濾波后的圖像頻域技術(shù)與空域技術(shù)空域增強(qiáng)技術(shù)可轉(zhuǎn)化到頻域?qū)崿F(xiàn)，頻域增強(qiáng)技術(shù)可轉(zhuǎn)化到空域?qū)崿F(xiàn)。頻域里低通濾波器的轉(zhuǎn)移（或傳遞）函數(shù)對(duì)應(yīng)空域里平滑濾波器的模板函數(shù)的傅里葉變換。頻域里高通濾波器的轉(zhuǎn)移函數(shù)對(duì)應(yīng)空域里銳化濾波器的模板函數(shù)的傅里葉變換。頻域越寬，空域越窄，平滑作用越弱頻域越窄，空域越寬，模糊作用越強(qiáng)空域技術(shù)中無(wú)論使用點(diǎn)操作還是模板操作，每次都只是基于部分像素的性質(zhì)。頻域技術(shù)每次都利用圖像中所有像素的數(shù)據(jù)，具有全局性，有可能更好地體現(xiàn)圖像的整體特性，如整體對(duì)比度和平均灰度值等。謝謝！計(jì)算機(jī)視覺(jué)戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測(cè)算法3圖像點(diǎn)特征應(yīng)用4總結(jié)圖像的點(diǎn)特征表示目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測(cè)算法3圖像點(diǎn)特征應(yīng)用4總結(jié)圖像分割在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中，角點(diǎn)（也稱做關(guān)鍵點(diǎn)）是指圖像中兩條邊緣的交匯點(diǎn)，這些點(diǎn)通常表現(xiàn)出與周圍背景有顯著差異的特征。角點(diǎn)的主要特性是局部區(qū)域內(nèi)像素的梯度方向發(fā)生顯著變化，這種變化意味著無(wú)論圖像如何旋轉(zhuǎn)或視角如何變化，角點(diǎn)都是容易識(shí)別的。Hpatches數(shù)據(jù)集中圖像關(guān)鍵點(diǎn)示例定義目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測(cè)算法3圖像點(diǎn)特征應(yīng)用4總結(jié)1.Harris角點(diǎn)檢測(cè)人眼對(duì)角點(diǎn)的識(shí)別是通過(guò)一個(gè)局部的窗口滑動(dòng)而觀察到的，主要可以分成三種情況：在各個(gè)方向上滑動(dòng)窗口，窗口內(nèi)區(qū)域灰度值較大變化，則認(rèn)為窗口內(nèi)遇到角點(diǎn)。（圖a）在各個(gè)方向上滑動(dòng)窗口，窗口內(nèi)區(qū)域灰度值未發(fā)生變化，則認(rèn)為窗口內(nèi)無(wú)角點(diǎn)。（圖b）在某個(gè)方向上滑動(dòng)窗口，窗口內(nèi)區(qū)域灰度值較大變化，但在另一些方向上灰度值未發(fā)生變化，則認(rèn)為窗口內(nèi)圖像可能是直線段。（圖c）Harris角點(diǎn)檢測(cè)算法步驟Harris角點(diǎn)檢測(cè)步驟主要包含以下三步：（1）統(tǒng)計(jì)局部窗口內(nèi)灰度變化

Harris角點(diǎn)檢測(cè)算法步驟（2）計(jì)算角點(diǎn)響應(yīng)函數(shù)

（3）角點(diǎn)判定

2.SIFT特征點(diǎn)檢測(cè)

在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域，特征點(diǎn)檢測(cè)和描述是識(shí)別、匹配和跟蹤對(duì)象的關(guān)鍵步驟。尺度不變特征變換（Scale-InvariantFeatureTransform，簡(jiǎn)稱SIFT）是由DavidLowe在1999年提出的一種算法，旨在從圖像中提取具有尺度不變性的特征點(diǎn)，并對(duì)光照變化、噪聲以及視角改變具有強(qiáng)大的魯棒性。SIFT特征廣泛應(yīng)用于圖像匹配、機(jī)器人導(dǎo)航、三維模型構(gòu)建、手勢(shì)識(shí)別等領(lǐng)域。（1）SIFT特征點(diǎn)檢測(cè)核心概念SIFT特征點(diǎn)檢測(cè)通過(guò)在特征點(diǎn)在各個(gè)圖像尺度和位置上都有獨(dú)特得穩(wěn)定性特點(diǎn)，在多尺度空間中檢測(cè)極值點(diǎn)來(lái)尋找特征點(diǎn)。算法核心是建立一個(gè)多尺度空間，確保特征點(diǎn)對(duì)圖像尺度的變化保持不變性。通過(guò)高斯差分（DifferenceofGaussian,DoG）函數(shù)來(lái)近似拉普拉斯尺度空間，從而識(shí)別出在多個(gè)尺度空間中穩(wěn)定的關(guān)鍵點(diǎn)。（2）SIFT特征點(diǎn)檢測(cè)主要流程SIFT（尺度不變特征變換）算法是一個(gè)復(fù)雜的圖像處理過(guò)程，其可以分成一下四個(gè)主要步驟：尺度空間構(gòu)建及極值點(diǎn)檢測(cè)、關(guān)鍵點(diǎn)定位、方向賦值、以及描述子生成。2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程1）尺度空間構(gòu)建及極值點(diǎn)檢測(cè)尺度空間理論是SIFT算法的核心，其目的是模擬圖像數(shù)據(jù)在不同尺度的表現(xiàn)。尺度空間通過(guò)連續(xù)的高斯模糊來(lái)構(gòu)建，每個(gè)新尺度都是上一尺度圖像的高斯平滑版本。利用高斯差函數(shù)來(lái)識(shí)別對(duì)尺度和方向不變的潛在興趣點(diǎn)。尺度空間定義為一個(gè)函數(shù)L(x,y,σ)，如式3-5所示：

2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程1）尺度空間構(gòu)建及極值點(diǎn)檢測(cè)式3-6中，??是尺度參數(shù)，決定了模糊的程度。對(duì)于每個(gè)圖像金字塔層（octave），圖像首先被上一圖像金字塔層最后一個(gè)圖像的二倍降采樣得到，然后應(yīng)用一系列的高斯核進(jìn)行卷積，形成一組尺度圖像，如圖所示。在尺度空間中，極值點(diǎn)是潛在的特征點(diǎn)。通過(guò)比較一個(gè)像素點(diǎn)在當(dāng)前尺度圖像中與其相鄰的8個(gè)像素點(diǎn)，以及在尺度上下的18個(gè)像素點(diǎn)（總共26個(gè)鄰域點(diǎn)）的灰度值，來(lái)確定該點(diǎn)是否為極值。如果一個(gè)像素在其鄰域中是最大或最小值，則被認(rèn)為是潛在的特征點(diǎn)。2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程1）尺度空間構(gòu)建及極值點(diǎn)檢測(cè)這些潛在特征點(diǎn)被認(rèn)為是對(duì)尺度和旋轉(zhuǎn)不變的，因?yàn)樗鼈儊?lái)自于多尺度的極值檢測(cè)。這一步驟可以通過(guò)DifferenceofGaussian（DoG）圖像來(lái)實(shí)現(xiàn)，如圖所示，DoG圖像是相鄰尺度間的高斯圖的差異，如公式3-7所示：

k是相鄰尺度間的固定常數(shù)比例。2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程2）關(guān)鍵點(diǎn)定位關(guān)鍵點(diǎn)定位目的是從尺度空間極值點(diǎn)中精確地確定特征點(diǎn)的位置和尺度，并同時(shí)去除那些對(duì)匹配質(zhì)量貢獻(xiàn)較低的點(diǎn)。SIFT算法通過(guò)擬合三維二次函數(shù)來(lái)對(duì)每一個(gè)候選的特征點(diǎn)進(jìn)行精細(xì)定位。通過(guò)將近似DoG函數(shù)D(x,y,σ)在極值點(diǎn)附近進(jìn)行泰勒展開(kāi)，如公式3-8所示：

式3-8中，D表示在極值點(diǎn)位置的DoG函數(shù)值，(?D^T)/?x表示DoG函數(shù)的梯度，(?^2D)/(?x^2)表示DoG函數(shù)的Hessian矩陣，x=(x,y,σ)表示相對(duì)于初步檢測(cè)的極值點(diǎn)的偏移量。通過(guò)對(duì)公式3-8進(jìn)行求解得到偏移量x的值，若偏移量過(guò)大，則認(rèn)為極值點(diǎn)定位不夠精確，該點(diǎn)將會(huì)被丟棄。對(duì)于每一個(gè)精細(xì)定位后的關(guān)鍵點(diǎn)，通過(guò)計(jì)算其DoG函數(shù)值來(lái)判斷該點(diǎn)是否具有足夠的對(duì)比度。若該值小于某個(gè)閾值，則認(rèn)為該點(diǎn)的對(duì)比度太低，不適合作為特征點(diǎn)，將會(huì)被丟棄。通過(guò)計(jì)算Hessian矩陣的兩個(gè)特征值的比率，可以判斷一個(gè)點(diǎn)是否位于邊緣上。若比率大于某個(gè)閾值，則該點(diǎn)會(huì)被認(rèn)為是邊緣點(diǎn)，因此被丟棄。2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程3）方向賦值方向賦值是為了增強(qiáng)關(guān)鍵點(diǎn)的旋轉(zhuǎn)不變性，即使在圖像旋轉(zhuǎn)時(shí)，關(guān)鍵點(diǎn)的描述仍能保持一致。首先需要計(jì)算關(guān)鍵點(diǎn)周圍的圖像梯度，可以通過(guò)公式3-9和3-10進(jìn)行計(jì)算：

L(x,y)表示關(guān)鍵點(diǎn)所在尺度的圖像強(qiáng)度，m(x,y)表示梯度大小，θ(x,y)表示梯度方向。2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程3）方向賦值對(duì)于每一個(gè)關(guān)鍵點(diǎn)，利用周圍區(qū)域的梯度信息構(gòu)建方向直方圖，如圖3-4所示，通常分成36個(gè)柱，每個(gè)柱覆蓋10°，梯度的大小作為該方向的權(quán)重，因此直方圖的每個(gè)柱的值是該方向上梯度大小的加權(quán)和。直方圖構(gòu)建完畢后，通過(guò)搜索直方圖的峰值來(lái)確定關(guān)鍵點(diǎn)的主方向。在某些情況下，若其他方向的值大于主方向的某個(gè)閾值（如80%），可以將其作為關(guān)鍵點(diǎn)的輔方向，因此同一個(gè)位置可能有兩個(gè)一樣的關(guān)鍵點(diǎn)，只是方向不同。最后，每個(gè)關(guān)鍵點(diǎn)根據(jù)其方向直方圖中的峰值被賦予一個(gè)或多個(gè)方向。這樣，每個(gè)關(guān)鍵點(diǎn)不僅被其位置和尺度描述，還被其方向描述，從而使得特征描述符對(duì)旋轉(zhuǎn)具有不變性。2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程4）描述子生成描述子生成將每個(gè)關(guān)鍵點(diǎn)轉(zhuǎn)換成一個(gè)具有強(qiáng)烈區(qū)分能力的特征向量，使得這些特征可以在不同的圖像之間進(jìn)行有效匹配。首先，圍繞每個(gè)關(guān)鍵點(diǎn)定義一個(gè)16x16像素的鄰域窗口。該窗口是從關(guān)鍵點(diǎn)的尺度空間中進(jìn)行選擇，窗口的大小會(huì)根據(jù)關(guān)鍵點(diǎn)所在的尺度進(jìn)行調(diào)整。為了保持描述子的空間信息，這個(gè)16x16的窗口進(jìn)一步被劃分為16個(gè)4x4的子區(qū)域。每個(gè)子區(qū)域?qū)⒂脕?lái)獨(dú)立地收集和描述局部特征。對(duì)于每個(gè)4x4的子區(qū)域，計(jì)算其中每個(gè)像素的梯度大小和方向。方向通常根據(jù)關(guān)鍵點(diǎn)的主方向進(jìn)行調(diào)整，以保證描述子的旋轉(zhuǎn)不變性。調(diào)整后的方向可以通過(guò)公式3-11計(jì)算：

2.SIFT特征點(diǎn)檢測(cè)（2）SIFT特征點(diǎn)檢測(cè)主要流程4）描述子生成對(duì)每個(gè)4×4的子區(qū)域，根據(jù)調(diào)整后的梯度方向創(chuàng)建一個(gè)8柱的方向直方圖。每個(gè)柱覆蓋45度。梯度的大小用作加權(quán)因子，表示更明顯的梯度變化。此外，使用高斯窗口對(duì)梯度大小進(jìn)行加權(quán)，對(duì)子區(qū)域中心附近的像素產(chǎn)生更大的影響。最終，所有的16個(gè)子區(qū)域的方向直方圖聯(lián)合形成一個(gè)128維（16×8個(gè)方向）的特征向量。若需要提高特征向量對(duì)光照變化的魯棒性，需要對(duì)這個(gè)128維向量進(jìn)行歸一化處理。即減少了圖像光照變化對(duì)特征描述子的影響。SIFT特征點(diǎn)檢測(cè)算法由于其尺度不變性、旋轉(zhuǎn)不變性、局部性、魯棒性等特點(diǎn)，在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中占有重要的地位，是學(xué)術(shù)和工業(yè)應(yīng)用中常用的關(guān)鍵技術(shù)之一。3.HardNet點(diǎn)特征學(xué)習(xí)HardNet整體由兩部分構(gòu)成：特征學(xué)習(xí)網(wǎng)絡(luò)L2Net基于一個(gè)訓(xùn)練批次中困難樣本學(xué)習(xí)的SoftReg采樣策略L2Net結(jié)構(gòu)3.HardNet點(diǎn)特征學(xué)習(xí)

困難樣本采樣示意3.HardNet點(diǎn)特征學(xué)習(xí)

困難樣本采樣示意

（3-12）3.Key.Net關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)Key.Net體系結(jié)構(gòu)結(jié)合了手工和學(xué)習(xí)方法的成功思想，網(wǎng)絡(luò)中使用比例空間表示法提取不同級(jí)別的關(guān)鍵點(diǎn)，以檢測(cè)在各種比例尺上都存在的穩(wěn)健特征，并最大程度地提高可重復(fù)性得分Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器3.Key.Net關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器

（3-13）3.Key.Net關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器

3.Key.Net關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器（2）多尺度金字塔我們將體系結(jié)構(gòu)設(shè)計(jì)為對(duì)小尺度變化具有魯棒性，而無(wú)需計(jì)算多個(gè)前向特征。如圖3-7所示，該網(wǎng)絡(luò)包括輸入圖像的三個(gè)比例級(jí)別，這些級(jí)別的圖像模糊和降采樣了1.2倍。將由手工過(guò)濾器生成的所有特征圖連接起來(lái)，以饋每個(gè)比例級(jí)別中的學(xué)習(xí)過(guò)濾器堆棧。所有這三個(gè)流均具有權(quán)重，因此相同類型的錨點(diǎn)來(lái)自不同的級(jí)別，并形成最終關(guān)鍵點(diǎn)的候選集。然后將所有比例級(jí)別的特征圖上采樣，連接并饋入最后的卷積濾波器，以獲取最終的特征響應(yīng)圖。目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測(cè)算法3圖像點(diǎn)特征應(yīng)用4總結(jié)圖像配準(zhǔn)圖像配準(zhǔn)是圖像處理研究領(lǐng)域中的一個(gè)典型問(wèn)題和技術(shù)難點(diǎn)。具體地說(shuō)，對(duì)于一組圖像數(shù)據(jù)集中的兩幅圖像，通過(guò)尋找一種空間變換把一幅圖像映射到另一幅圖像，使得兩圖中對(duì)應(yīng)于空間同一位置的點(diǎn)一一對(duì)應(yīng)起來(lái)，從而達(dá)到信息融合的目的。（a）參考圖像（b）待配準(zhǔn)圖像（c）圖像配準(zhǔn)結(jié)果圖像配準(zhǔn)特征提取從參考圖像和待配準(zhǔn)圖像中提取特征點(diǎn)，常用的特征點(diǎn)包括角點(diǎn)、邊緣點(diǎn)或尺度不變特征點(diǎn)（SIFT、SURF等）參考圖像待配準(zhǔn)圖像特征點(diǎn)檢測(cè)特征提取特征匹配變換估計(jì)圖像變換圖像融合基本原理圖像配準(zhǔn)輸入圖像……關(guān)鍵點(diǎn)檢測(cè)裁取圖像塊特征提取……參數(shù)估計(jì)與圖像變換特征匹配關(guān)鍵點(diǎn)檢測(cè)：從圖像中檢測(cè)出具有顯著特征的關(guān)鍵點(diǎn)，用于描述圖像的局部結(jié)構(gòu)和特征。特征提取：對(duì)于每個(gè)關(guān)鍵點(diǎn)，提取出描述其局部特征的向量或描述子，以便后續(xù)的特征匹配過(guò)程使用。特征匹配：通過(guò)對(duì)比圖像中的關(guān)鍵點(diǎn)特征描述子，將兩幅圖像中相對(duì)應(yīng)的關(guān)鍵點(diǎn)進(jìn)行匹配，以建立它們之間的對(duì)應(yīng)關(guān)系。參數(shù)估計(jì)與圖像變換：根據(jù)匹配的關(guān)鍵點(diǎn)對(duì)，估計(jì)出圖像之間的變換參數(shù)，并將其中一個(gè)圖像進(jìn)行適當(dāng)?shù)膸缀巫儞Q，以實(shí)現(xiàn)兩幅圖像的對(duì)齊。基于關(guān)鍵點(diǎn)特征的圖像配準(zhǔn)圖像配準(zhǔn)基于關(guān)鍵點(diǎn)特征的圖像配準(zhǔn)可見(jiàn)光圖像連線圖SAR圖像棋盤(pán)圖配準(zhǔn)圖圖像配準(zhǔn)基于關(guān)鍵點(diǎn)特征的圖像配準(zhǔn)

這些隨機(jī)選出的匹配點(diǎn)對(duì)是正確的，具有較高的定位精度，棋盤(pán)格圖像中的交匯點(diǎn)是光滑的，基本上沒(méi)有任何錯(cuò)位現(xiàn)象。目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測(cè)算法3圖像點(diǎn)特征應(yīng)用4總結(jié)目錄總結(jié)本章介紹了圖像點(diǎn)的特征表示。圖像特征點(diǎn)是計(jì)算機(jī)視覺(jué)領(lǐng)域的核心概念之一,涉及圖像中穩(wěn)定且具有代表性的特征點(diǎn)的提取和描述。在此基礎(chǔ)上，介紹了主流的特征點(diǎn)檢測(cè)算法包括Harris角點(diǎn)檢測(cè)、SIFT、SURF等,適用于不同的應(yīng)用場(chǎng)景。基于深度學(xué)習(xí)的HardNet特征學(xué)習(xí)算法以及結(jié)合手工特征和深度特征的Key.Net算法為讀者提供了最新的研究視野。這些特征點(diǎn)匹配算法為圖像中重要區(qū)域的快速定位奠定了基礎(chǔ)。圖像點(diǎn)特征在計(jì)算機(jī)視覺(jué)中有著廣泛的應(yīng)用，總的來(lái)說(shuō),圖像點(diǎn)特征是計(jì)算機(jī)視覺(jué)領(lǐng)域不可或缺的基礎(chǔ)知識(shí),掌握好這一概念和相關(guān)技術(shù)對(duì)于后續(xù)的視覺(jué)任務(wù)至關(guān)重要

謝謝！計(jì)算機(jī)視覺(jué)戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材4、線特征表示邊緣檢測(cè)：邊緣檢測(cè)算子SNAKEASM/AAMHough變換邊緣檢測(cè)圖像邊緣的產(chǎn)生 物體的邊界、表面方向的改變、不同顏色或材質(zhì)、光照明暗的變化物體的邊界表面方向變化不同顏色區(qū)域光照明暗邊緣的定義定義：“邊緣是圖像中亮度突然變化的區(qū)域。”“圖像灰度構(gòu)成的曲面上的陡峭區(qū)域。”“像素灰度存在階躍變化或屋脊?fàn)钭兓南袼氐募稀！被叶葓D像中邊緣的類型階梯狀邊緣屋脊?fàn)钸吘壘€條狀邊緣為什么要提取邊緣？邊緣是最基本的圖像特征之一：可以表達(dá)物體的特征邊緣特征對(duì)于圖像的變化不敏感幾何變化，灰度變化，光照方向變化可以為物體檢測(cè)提供有用的信息是一種典型的圖像預(yù)處理過(guò)程原始圖像輸出結(jié)果模式識(shí)別預(yù)處理特征提取如何提取邊緣？（灰度圖象）灰度圖象邊緣提取，主要的思想：抑制噪聲（低通濾波、平滑、去噪、模糊）邊緣特征增強(qiáng)（高通濾波、銳化）邊緣定位原始圖像中間結(jié)果圖像邊緣抑制噪聲增強(qiáng)邊緣邊緣定位圖像微分算子一階微分算子（梯度算子）Prewitt,Sobel

檢測(cè)最大值二階微分算子（Laplacian）檢測(cè)過(guò)零點(diǎn)微分算子檢測(cè)邊緣：一維信號(hào)一階導(dǎo)數(shù)的極大值點(diǎn)：二階導(dǎo)數(shù)的過(guò)零點(diǎn)：注意：僅僅等于0不夠，常數(shù)函數(shù)也為0，必須存在符號(hào)改變微分算子檢測(cè)邊緣：二維信號(hào)一階導(dǎo)數(shù)的極大值點(diǎn)：其中，圖像梯度向量：梯度幅值表示邊緣的強(qiáng)弱，梯度方向代表灰度變化最快的方向微分算子檢測(cè)邊緣：二維信號(hào)二階導(dǎo)數(shù)的過(guò)零點(diǎn)：拉普拉斯算子：各向同性的兩階微分算子,保持旋轉(zhuǎn)不變?cè)跀?shù)字圖像上計(jì)算梯度一維的情況：f(x)x-1x+1對(duì)于離散的數(shù)字信號(hào)，可以使用差分近似：相當(dāng)于與如下模板進(jìn)行卷積運(yùn)算：-101×0.5在數(shù)字圖像上計(jì)算梯度使用差分運(yùn)算在數(shù)值上近似一階微分運(yùn)算-101-101豎直邊緣水平邊緣×0.5×0.5病態(tài)問(wèn)題：一維信號(hào)的例子從圖像中取出某行像素值：邊緣在哪里？病態(tài)問(wèn)題：一維信號(hào)的例子Question：假設(shè)噪聲的幅度很小，是否也很小？例：噪聲為高頻的正旋波信號(hào)的微分不能由帶有噪聲的觀測(cè)信號(hào)的微分得到解決方法：先進(jìn)行濾波峰值為邊緣的位置利用卷積運(yùn)算的性質(zhì)：峰值為邊緣的位置Sobel算子Prewitt算子Roberts算子圖像梯度算子的近似Prewitt算子-101-101-101計(jì)算均值，平滑噪聲檢測(cè)豎直邊緣-1-1-1000111計(jì)算均值，平滑噪聲檢測(cè)水平邊緣Prewitt算子，近似一階微分卷積模版：去噪+增強(qiáng)邊緣Sobel算子-101-202-101計(jì)算均值，平滑噪聲檢測(cè)豎直邊緣-1-2-1000121計(jì)算均值，平滑噪聲檢測(cè)水平邊緣Sobel算子，近似一階微分去噪+增強(qiáng)邊緣，給四鄰域更大的權(quán)重常見(jiàn)的梯度算子(a):Roberts算子 (b):3x3Prewitt算子(c):Sobel算子 (d):4x4Prewitt算子Sobel,Prewitt例子在數(shù)字圖像上計(jì)算二階微分拉普拉斯算子拉普拉斯算子的數(shù)字近似3*3卷積模版0-10-14-10-10-1-1-1-18-1-1-1-1拉普拉斯算子的特點(diǎn)拉普拉斯算子的運(yùn)算結(jié)果是標(biāo)量只有幅值，只使用一個(gè)模版便可計(jì)算得到方向?qū)傩詠G失實(shí)際中幾乎不單獨(dú)使用拉普拉斯算子：二次求導(dǎo)數(shù)，對(duì)噪聲非常敏感通常配合濾波器同時(shí)使用LaplacianofGaussian(LoG)首先用Gauss函數(shù)對(duì)圖像進(jìn)行平滑，抑制噪聲然后對(duì)經(jīng)過(guò)平滑的圖像使用Laplacian算子利用卷積的性質(zhì)LoG算子等效于：

Gaussian平滑+Laplacian二階微分高斯拉普拉斯LaplacianofGaussianoperator過(guò)零點(diǎn)為邊緣的位置二維邊緣微分濾波器LoG算子:高斯拉普拉斯高斯高斯的導(dǎo)數(shù)在數(shù)字圖像上實(shí)現(xiàn)LoG00-1000-1-2-10-1-216-2-10-1-2-1000-100

LoG因其形狀，也稱為Mexicanhat

求和為0，即對(duì)平坦圖像區(qū)域的響應(yīng)為0

一個(gè)近似的卷積模版：體現(xiàn)主要的形狀LoG：例子（a）LennaImage（b）Gaussian模版卷積（15*15）（c）Laplacian模版卷積（3*3）（a）（b）（c）分兩步實(shí)現(xiàn)LoG，可以提供更大的靈活性更小的模版尺寸LoG：例子（d）將(c)中大于0的像素置1，其余置0（e）在二值圖像（d）上檢測(cè)邊緣，使用形態(tài)學(xué)膨脹方法（f）結(jié)果顯示（d）（e）（f）幾個(gè)特點(diǎn)：（1）正確檢測(cè)到的邊緣：?jiǎn)蜗袼貙挾龋ㄎ粶?zhǔn)確（2）形成許多封閉的輪廓（spaghetti，意大利面條）（3）需要更加復(fù)雜的算法檢測(cè)過(guò)零點(diǎn)Canny邊緣檢測(cè)器最常用的邊緣檢測(cè)方法之一一個(gè)優(yōu)化的方案噪聲抑制邊緣增強(qiáng)邊緣定位J.Canny,“AComputationalApproachtoEdgeDetection”,

IEEETrans.onPAMI,8(6),1986.Canny邊緣檢測(cè)算法算法基本過(guò)程：計(jì)算圖像梯度梯度非極大值抑制雙閾值提取邊緣點(diǎn)幅值大小M(x,y)方向Theta(x,y)NMS：Non-MaximaSuppression計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)高斯函數(shù)的一階導(dǎo)數(shù)(DerivativeofGaussian)可以很近似地滿足以下三條邊緣檢測(cè)最優(yōu)準(zhǔn)則：好的邊緣檢測(cè)結(jié)果：Gooddetection

對(duì)邊緣的響應(yīng)大于對(duì)噪聲的響應(yīng)好的定位性能：Goodlocalization

其最大值應(yīng)接近邊緣的實(shí)際位置對(duì)同一邊緣有低的響應(yīng)次數(shù)： 在邊緣附近只有一個(gè)極大值點(diǎn)計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)

（2）使用一階有限差分計(jì)算偏導(dǎo)數(shù)的兩個(gè)陣列：（1）求圖像與高斯平滑濾波器卷積:-11-1111-1-1相當(dāng)于與模版進(jìn)行卷積運(yùn)算：代表對(duì)圖像的平滑程度計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)（3）幅值和方位角:M代表梯度幅值的大小，在存在邊緣的圖像位置處，M的值變大，圖像的邊緣特征被“增強(qiáng)”如何檢測(cè)邊緣？局部極值周圍存在相近數(shù)值的點(diǎn)非極大值抑制NMS非極大值抑制（NMS：Non-MaximaSuppression）主要思想：由梯度幅值圖像M(x,y)，僅保留極大值。（嚴(yán)格地說(shuō)，保留梯度方向上的極大值點(diǎn)。）得到的結(jié)果為N(x,y)，具體過(guò)程：初始化N(x,y)=M(x,y)對(duì)于每個(gè)點(diǎn)，在梯度方向和反梯度方向各找n個(gè)像素點(diǎn)。若M(x,y)不是這些點(diǎn)中的最大點(diǎn)，則將N(x,y)置零，否則保持N(x,y)不變。N(x,y)單像素寬度：?jiǎn)栴}：額外的邊緣點(diǎn)，丟失的邊緣點(diǎn)非極大值抑制NMS

在梯度方向的沿線上檢測(cè)該點(diǎn)是否為局部極大值簡(jiǎn)化的情形，只使用4個(gè)方向：{0，45，90，135}

得到的結(jié)果N（x,y）包含邊緣的寬度為1個(gè)像素對(duì)NMS結(jié)果進(jìn)行二值化對(duì)上述得到的N(x,y)使用閾值進(jìn)行二值化使用大的閾值，得到：少量的邊緣點(diǎn)許多空隙使用小的閾值，得到：大量的邊緣點(diǎn)大量的錯(cuò)誤檢測(cè)使用雙閾值檢測(cè)邊緣兩個(gè)閾值T1，T2：T2>>T1由T1得到E1(x,y)，低閾值邊緣圖：更大的誤檢測(cè)率由T2得到E2(x,y)，高閾值邊緣圖：更加可靠邊緣連接：E1E1E1E1E2E2E2邊緣連接將E2(x,y)中相連的邊緣點(diǎn)輸出為一幅邊緣圖像E(x,y)對(duì)于E(x,y)中每條邊，從端點(diǎn)出發(fā)在E1(x,y)中尋找其延長(zhǎng)的部分，直至與E(x,y)中另外一條邊的端點(diǎn)相連，否則認(rèn)為E1(x,y)中沒(méi)有它延長(zhǎng)的部分將E(x,y)作為結(jié)果輸出Canny算子例子原始圖像原始圖像經(jīng)過(guò)Gauss平滑Canny算子例子梯度幅值圖像梯度幅值經(jīng)過(guò)非極大值抑制Canny算子例子低閾值邊緣圖像高閾值邊緣圖像Canny輸出邊緣圖像使用Canny算子需要注意的問(wèn)題Canny算子的優(yōu)點(diǎn)：參數(shù)較少計(jì)算效率得到的邊緣連續(xù)完整參數(shù)的選擇：Gauss濾波的尺度雙閾值的選擇(LOW=HIGH*0.4)漸增高斯濾波模版的尺寸漸增雙閾值的大小，保持low=high*0.44、線特征表示邊緣檢測(cè)：邊緣檢測(cè)算子SNAKEASM/AAMHough變換活動(dòng)輪廓模型活動(dòng)輪廓模型(ActiveContourModels)--Snake1987,Kass,Witkin,Terzopoulos;定義：能量達(dá)到最小值的曲線—snake的能量是根據(jù)它的形狀和在圖像中的位置確定的一種特殊的變形模板匹配必須通過(guò)交互為snake具體指定一個(gè)估計(jì)的形狀和開(kāi)始的位置183活動(dòng)輪廓模型184Snake算法的核心思想是通過(guò)最小化一個(gè)能量函數(shù)來(lái)逼近圖像中的邊緣。這個(gè)能量函數(shù)綜合考慮了輪廓的內(nèi)在屬性（如連續(xù)性和光滑性）和圖像的特征信息（如梯度），從而實(shí)現(xiàn)對(duì)目標(biāo)輪廓的精確描述。圖4-1Snake算法處理圖活動(dòng)輪廓模型活動(dòng)輪廓模型-----蛇形：（a）初始snake位置（點(diǎn)狀線），定義在真實(shí)輪廓附近；（b）snake能量函數(shù)最小化迭代；（c）snake被拉到真實(shí)輪廓處185活動(dòng)輪廓模型用于最小化的能量是外力和內(nèi)力的加權(quán)和內(nèi)力由snake的形狀計(jì)算得到，外力從圖像中獲得或是從更高級(jí)的圖像理解處理中得到Snake被定義為和是輪廓點(diǎn)的x和y的坐標(biāo)值，

曲線因?yàn)閺澢a(chǎn)生的內(nèi)部能量；從圖像中得到的力；外部的約束力186活動(dòng)輪廓模型曲線內(nèi)部能量的定義：

和規(guī)定了snake的彈性（elasticity）和剛性（stiffness）在點(diǎn)處令=0，這樣就允許snake在該點(diǎn)處出現(xiàn)二階不連續(xù)，這時(shí)就會(huì)在該點(diǎn)出現(xiàn)角點(diǎn)187活動(dòng)輪廓模型從圖像中得到的力基于輪廓線的函數(shù)項(xiàng)：

表示在點(diǎn)位置處的圖像灰度值；