TheElectromagneticSpectrum在實際的圖像處理應用中，最主要的圖像來源于電磁輻射成像。電磁波譜頻率從高到低（波長從短到長）分別為伽馬射線、X射線、紫外線、可見光、紅外線、微波、無線電波。可見光只是電磁波譜中一個很小的部分。不同的電磁輻射波有各自的成像方式，其應用領域也不盡相同。Non-Electro-MagneticImagingModalities（modality[m?u?d?liti]模式）非電磁成像模式Acousticimaging[??ku:stiki?m?d?i?]聲波成像ASimpleImageFormationModel（簡單的）圖像形成模型靜止的、單色的、平面的圖像可定義為一個二維函數，其中，是空間坐標，而在坐標處的幅值稱為圖像在該點處的強度或灰度。可以看成由兩個分量組成：照射分量：所見場景的入射光量，大于零且為有限值，由光源確定。反射分量：場景中物體反射光量的能力，即反射率，在0（全吸收）和1（全反射）之間，由場景中物體的特性確定。Wedenoteimagesbytwo-dimensionalfunctionsoftheform.isnonzeroandfinite.Thefunctionmaybecharacterizedbytwocomponents:illuminationcomponent:Theamountofsourceilluminationincidentonthescenebeingviewed.Thenatureofisdeterminedbytheilluminationsource.reflectancecomponent:theamountofilluminationreflectedbytheobjectsinthescene.isdeterminedbythecharacteristicsoftheimagedobjects.reflectanceisboundedby0(absorption)and1(totalreflectance)ImageSamplingandQuantization數字圖像的質量在很大程度上取決于采樣和量化中所用的采樣數和灰度級。空間分辨率是圖像中可辨別的最小細節，采樣數是決定一幅圖像空間分辨率的主要參數。灰度分辨率是指在灰度級別中可分辨的最小變化，由量化的等級決定，灰度級通常是2的整數次冪。Theoutputofmostsensorsisacontinuousvoltagewaveform.Tocreateadigitalimage,weneedtoconvertthecontinuoussenseddataintodigitalform.Thisinvolvestwoprocesses:samplingandquantization.Thequalityofadigitalimageisdeterminedtoalargedegreebythenumberofsamplesanddiscretegraylevelsusedinsamplingandquantization.Spatialresolutionisthesmallestdiscernible[d??s?:n?b?l]detailinanimage.Gray-levelresolutionreferstothesmallestdiscerniblechangeingraylevel.保持圖像的灰度級不變（256），逐漸降低圖像的空間分辨率（512×512至16×16，從(a)到(f)采樣數減少）。（注：為便于比較，所有的小圖像都放大到了原圖像的大小）圖(b)與圖(a)基本相似；圖(c)中，帽檐處出現鋸齒狀，且頭發有變粗的感覺；圖(d)中，棋盤效應非常明顯；圖(e)已幾乎不能分辨出人臉；圖(f)單獨觀看完全不知其中為何物。總結：空間分辨率高的圖像包含的像素多，圖像清晰；空間分辨率低的圖像，圖像質量差，嚴重時產生頻率混疊，畫面出現棋盤效應（checkerboardeffect）。對于同樣的采樣數，非均勻采樣將比均勻采樣能更好地表示原連續圖像。一般來說，在圖像內灰度變化比較劇烈的區域（細節較多的區域），應該采用細采樣；在圖像內灰度變化比較平緩的區域（細節較少的區域），應該采用粗采樣。Inthisexample,wekeepthenumberofgraylevelsconstantandreducethenumberofsamples.保持圖像的空間分辨率不變（512×512），逐漸降低圖像的灰度分辨率（從(a)到(f)，灰度級數從256逐漸減小至2）。圖(b)與圖(a)基本相似；從圖(c)開始，可看到一些虛假輪廓，到后面越來越明顯。（這種效果是由于在圖像的灰度平滑區使用的灰度級數不夠造成的，通常稱為偽輪廓。）（由于人眼對于急劇的灰度級變化比較容易辨認，因此沒有必要進行過細的分層；而對于那些灰度級變化比較平緩的部分，進行較細微的分層就十分必要了，否則，不僅無法辨認灰度的細微變化，還可能形成虛假的細節。）總結：灰度分辨率高的圖像可以擁有豐富的亮暗變化信息，圖像層次豐富，圖像質量好；灰度分辨率低的圖像，圖像層次欠豐富，圖像質量差，會出現偽輪廓現象（falsecontouring）。在充分考慮到人眼的識別能力之后，目前非特殊用途的圖像均為8bit量化（256級灰度）。Inthisexample,wekeepthenumberofsamplesconstantandreducethenumberofgraylevels.RepresentingDigitalImages左圖為數字圖像的坐標表示，數字圖像的原點位于左上角，其中正軸向下延伸，正軸向右延伸。數字圖像在原點的值就是，第一行下一個坐標處的值是，表示第一行的第二個樣本，它并不意味著是對圖像采樣時的物理坐標值。右圖為數字圖像的矩陣表示，矩陣中的每一個元素具有一個特定的位置和幅值，這些元素稱為像素（pixel）。Theresultofsamplingandquantizationisamatrixofrealnumbers.Wewillusetwoprincipalwaystorepresentdigitalimages.Eachelementofthismatrixarrayiscalledapixel.GraysacleImage灰度圖像是指每個像素由一個量化的灰度級來描述的圖像，它不包含彩色信息。通常灰度值的范圍在0到255之間，0表示黑、255表示白，其它值表示處于黑白之間的灰度。圖(a)是一幅灰度圖像，從圖中取出局部的一小塊進行放大，得到圖(b)，對應于這個局部子塊的數值矩陣如圖(c)所示。BinaryImage二值圖像是灰度圖像的一個特例，它是指圖像的每個像素只能是黑或白，沒有中間的過渡，其像素值為0或1。ColorImage彩色圖像是指每個像素由R、G、B三基色構成，其中R、G、B是由不同的灰度級來描述的，灰度級在0到255之間，0表示相應的基色在該像素中沒有，255表示相應的基色在該像素中取得最大值。NeighborsofaPixel位于坐標處的像素有4個水平和垂直的相鄰像素，其坐標為：見ppt這組像素稱為的4鄰域，用表示。每個像素距一個單位距離。的4個對角相鄰像素用表示，和合起來稱為的8鄰域，用表示。如果位于圖像的邊界上，則的某些相鄰像素位于圖像的外部。這個問題將在后續學習中討論。Apixelatcoordinateshasfourhorizontalandverticalneighborswhosecoordinatesaregivenby見pptThissetofpixels,calledthe4-neighborsof,isdenotedby.Eachpixelisaunitdistancefrom.Thefourdiagonalneighborsofhavecoordinates見pptandaredenotedby.Thesepoints,togetherwiththe4-neighbors,arecalledthe8-neighborsof,denotedby.ImageInterpolation（1）對和進行一次線性插值，得對和進行一次線性插值，得（2）最后進行一次線性插值，得最近鄰插值（nearestneighborinterpolation）：明顯的鋸齒邊緣和馬賽克現象。雙線性插值（Bilinearinterpolation）：其平滑作用使圖像邊緣和細節變得較為模糊，而且仍然會有一部分鋸齒現象。Scale（縮放變換）縮放變換：某一點經過縮放變換后，其位置變為，兩者之間有如下關系以矩陣的形式表示為、分別是方向和方向的縮放率。如果，即在軸方向和軸方向縮放的比率相同，稱這樣的比例縮放為圖像的全比例縮放；如果，圖像的比例縮放會改變原始圖像像素間的相對位置，產生幾何畸變。假設輸入圖像的像素對應于輸出圖像的，輸入圖像上點的鄰點以及再下一個鄰點分別對應于輸出圖像上的和。縮小時，點所對應的點位置不在像素位置，在輸出圖像上將自動被取消，從而和成為鄰點。放大2倍時，和，和都是相隔一個像素排列的。無對應點在原圖像中找不到相應的像素點，必須進行插值處理。Rotation（旋轉變換）通常的做法是，以圖像的中心為圓心旋轉，將圖像上的所有像素都旋轉一個相同的角度。但旋轉后，圖像的大小一般會改變。可以把轉出顯示區域的圖像截去，也可以擴大圖像范圍以顯示所有的圖像。圖像旋轉之后，出現了兩個問題：（1）因為相鄰像素之間只能有8個方向，而旋轉方向卻是任意的，使得像素的排列不是完全按照原有的相鄰關系。（2）會出現許多空洞點，我們來看一個旋轉圖像的畫面效果。對這些空洞點可以采用插值方法填充。Piecewise-LinearTransformation圖像增強是指按特定的需要突出一幅圖像中的某些信息，同時，削弱或去除某些不需要的信息的處理方法。為了突出感興趣目標所在的灰度區間，相對抑制那些不感興趣的灰度區間，可采用分段線性變換。通過調整折線拐點的位置及控制分段直線的斜率，可對任一灰度區間進行擴展或壓縮。圖中對灰度區間進行了擴展，對灰度區間和進行了壓縮，這種變換適用于在黑色或白色附近有噪聲干擾的情況。例如圖中的照片，在女孩的帽沿上有一條白色的劃痕，在女孩后面的鏡框上有一條黑色的劃痕，對原圖進行分段線性變換后，在和之間的灰度受到壓縮，因而使劃痕得到減弱。LogTransformation對數變換（非線性變換）：低灰度區擴展，高灰度區壓縮。Expandthevaluesofdarkpixelsinanimagewhilecompressingthehigh-levelvalues.對數變換不是通過在不同灰度值區間選擇不同的線性方程來實現對不同灰度值區間的擴展與壓縮，而是在整個灰度值范圍內采用統一的非線性變換函數，實現對不同灰度值區間的擴展與壓縮。如圖(a)中，中間較暗的部分對比度較低。通過對數變換可以增強低亮度像素的對比度，但是高亮度部分的對比度較低，反映在右上部分的邊緣。Histogram灰度直方圖反映了一幅圖像中的灰度級與出現該灰度級的概率之間的關系，所以直方圖提供了一幅圖像的灰度分布特性。灰度直方圖的性質：灰度直方圖只能反映圖像的灰度分布情況，而不能反映圖像像素的位置，即丟失了像素的位置信息。一幅圖像對應唯一的灰度直方圖，但不同的圖像可對應相同的直方圖。Histogramequalization直方圖均衡化的基本思想是對圖像中像素個數多的灰度級進行展寬，而對像素個數少的灰度級進行縮減。表中第一列表示歸一化后的灰度級，由變換函數式計算sk變換函數是原圖像灰度的累積分布函數。把計算的sk就近安排到8個灰度級中，重新命名sk，歸并相同灰度級的像素數。因為r0=0，經變換得s0=1/7，所以有790個像素取s0這個灰度值。同樣，r1=1/7映射到s1=3/7，所以有1023個像素取s1這一灰度值。r2=2/7映射到s2=5/7，所以有850個像素取s2這一灰度值。又因為r3和r4均映射到s3=6/7，所以有656+329=985個像素取s3這一灰度值。同樣，因為r5、r6和r7均映射到s4=1，所以有245+122+81=448個像素取s4這一灰度值。最后用n=4096來除上述這些nsk值，便可得到新的直方圖。變換后的灰度級減少了。原直方圖上頻率較小的某些灰度級被合并到一個或幾個灰度級中，即頻率小的部分被壓縮，頻率大的部分被增強，這也是直方圖均衡化的實質——減少圖像的灰度級以換取對比度的加大。直方圖均衡化效果實例圖(a)和(b)分別為一幅灰度圖像和它的直方圖。原圖像較暗，大部分像素灰度集中在低灰度值一邊。圖(c)和(d)分別是經均衡化得到的圖像及其直方圖。圖像的對比度增強，許多細節更加清晰。SaltandPepperNoise受噪聲干擾的圖像像素以50％的相同概率等于圖像灰度的最大（表現為使相應的像素點變白）或最小（表現為使相應的像素點變黑）值。MedianFiltering中值濾波（非線性平滑濾波器）的設計思想：因為噪聲的出現，使該點像素比周圍的像素亮（暗）許多。如果在某個模板中，對像素進行由小到大的重新排列，那么最亮或者最暗的點一定被排在兩側。取模板中排在中間位置上的像素的灰度值替代待處理像素的灰度值，就可以達到濾除噪聲的目的。中值濾波可有效濾除椒鹽噪聲。MeanFiltering被椒鹽噪聲污染的圖像中有干凈點也有污染點，中值濾波是選擇適當的點來代替污染點的值，所以處理效果較好。高斯噪聲是以隨機大小的幅值污染所有的點，所以中值濾波選不到合適的干凈點。均值濾波（鄰域平均法）：線性濾波，用像素鄰域內各像素的灰度平均值代替該像素原來的灰度值。為保證模板內都能套住原圖像的像素點，圖像的邊界保留，即不做處理。鄰域越大，在去噪能力增強的同時模糊程度越嚴重。MaskOperation模板操作的步驟：（1）將模板在圖像中按從左到右，從上到下的順序移動，將模板中心與每個像素依次重合；（2）將模板中的各個系數與其對應的像素一一相乘，并將所有結果相加。（3）將（2）中的結果賦給圖像中對應模板中心位置的像素，就是該像素平滑后的灰度。基于模板的濾波處理，相當于模板與原圖像的卷積。Low-passfilteringinfrequencydomain圖像中，邊緣和噪聲對應于高頻，而圖像緩變部分則對應于低頻。因此，我們可以利用頻域的低通濾波法來達到濾除噪聲的目的。但同時也會損失邊緣信息，使圖像變模糊。圖中給出了頻域低通濾波法的處理過程。設和分別代表含噪圖像和濾波結果的頻域表示，為低通濾波器。頻域低通濾波法的關鍵是設計和選定低通濾波器。在圖像的頻譜圖中，左上、右上、左下、右下四個角的周圍對應于低頻成分，中央部位對應于高頻成分。由于圖像中的大部分能量集中在低頻分量，因此頻譜圖中四角部分的幅值較大，然而，在實際的圖像頻譜分析過程中，由于低頻分量區域較小，并且分散在四周，因此不利于對其進行分析。利用二維DFT的平移性質可將低頻分量集中在頻譜圖的中心，同時高頻分量分散在四周，大大加強了圖像頻譜的可讀性。用乘以可將經傅里葉變換后的原點移到頻域窗口的中心顯示。Ideallowpassfiltering一個理想低通濾波器的傳遞函數定義為：見PPT式中，表示理想低通濾波器的截止頻率，表示頻率平面上點到頻率原點的距離，即理想低通濾波器的特性曲線如圖所示：見PPT其濾波特性為：以為半徑的圓內的所有頻率分量無失真地通過，而圓外的所有頻率分量完全被濾除。圖(b)和圖(c)中有明顯的振鈴現象出現，而且圖像變模糊，越小，這種現象就越嚴重。越小，濾除噪聲越徹底，高頻分量損失越嚴重。Butterworthlowpassfilteringn階Butterworth低通濾波器的傳遞函數為：見PPT當D(u,v)=D0時，H(u,v)降為最大值的1/2。Butterworth低通濾波器的特性曲線如圖所示：見PPT與理想低通濾波器不同的是，它的通帶與阻帶之間沒有明顯的不連續性，過渡比較光滑。一階BLPF沒有振鈴，二階BLPF顯示出輕微的振鈴，但遠沒有ILPF那么明顯。隨著階數的增高，振鈴現象越來越明顯，20階BLPF呈現出了與ILPF類似的特性（在極限情況下，兩個濾波器相同）。由于BLPF的尾部保留了較多的高頻分量，所以對噪聲的平滑效果不如ILPF。二階的BLPF是在有效的低通濾波和可接受的振鈴特性之間的好的折中。圖中給出了二階Butterworth低通濾波結果。GausslowpassfilteringGauss低通濾波器的傳遞函數為：見PPT式中，表示高斯曲線擴展的程度。令，可以使用其他濾波器的表示法來表示該濾波器。Gauss低通濾波器的特性曲線如圖所示：見PPT當D(u,v)=D0時，H(u,v)降為最大值的0.667。對于相同的截止頻率，GLPF與二階BLPF相比，導致的平滑效果要稍差一些。但是GLPF沒有振鈴。ImageSharpening圖像銳化——使圖像目標物輪廓和細節更突出的方法。Firstorderderivative最常用的微分方法是梯度法。對于圖像f(x,y)，在(x,y)處的梯度定義為：見PPT梯度的幅值為：見PPT在數字圖像處理中，常用到梯度的幅值，因此把梯度的幅值習慣稱為“梯度”。該算法運算較費時，為更適合計算機實現，采用絕對差分算法。Robertsoperator、PrewittOperator、SobelOperator為了在銳化邊緣的同時減少噪聲的影響，Prewitt算子從加大模板出發，由2×2擴大到3×3來計算差分。在Prewitt算子的基礎上，對4鄰域采用加權的方法計算差分。同Prewitt算子相比，Sobel算子對于像素的位置的影響做了加權，因此效果更好。LaplacianoperatorLaplacian算子是一個二階微分算子，采用二階微分能夠獲得更豐富的景物細節。Thedifferencebetweenimagerestorationandimageenhancement與圖像增強相似，圖像復原的目的也是改善圖像質量。圖像增強與圖像復原的區別：見ppt可見，圖像增強主要是一個主觀過程，而圖像復原主要是一個客觀過程。圖像增強提供給用戶喜歡接收的圖像，而圖像復原追求恢復原始圖像的最優估值。圖像復原是根據退化原因，建立相應的數學模型，沿著使圖像退化的逆過程恢復圖像的本來面貌。（退化過程的逆向估計問題）由于大氣湍流、成像系統的散焦、成像設備與物體的相對運動、噪聲干擾等，使得圖像質量降低，稱之為“圖像退化”（imagedegradation）。圖像退化的典型表現為圖像模糊、有噪聲等。LineardegradationModel如果退化系統是一個線性、空間位移不變的過程，退化圖像可以表示為式中，表示未退化的真實圖像，表示退化函數的空間描述（可看作是綜合了成像系統的所有退化因素），表示加性高斯噪聲，表示退化圖像。位移不變：圖像中任一點通過系統的響應，只取決于該點的輸入值，而與該點的位置無關。在圖像復原處理中，盡管非線性和空間變化的系統模型更接近復雜的退化環境，但它給實際處理工作帶來了很大的困難，常常找不到解或者很難用計算機來處理。因此，往往用線性和空間不變系統模型來加以近似。InverseFiltering在很小或為零時，噪聲被放大。這意味著退化圖像中小噪聲的干擾在較小時，會對逆濾波恢復的圖像產生很大的影響，很可能使恢復的圖像和原圖像相差很大，甚至面目全非。BSNR模糊信噪比：表示由模糊和疊加噪聲引起的降質程度。Pseudo-inverseFilteringPseudo-inverseFilter偽逆濾波[?su:d??]式中，為小于1的常數，且選得較小為好。WhyCanWeCompress？圖像之所以可以進行壓縮，是由于圖像中包含一定的冗余信息，去掉這些冗余信息后可以有效壓縮圖像，同時又不會損害圖像的有效信息。數據冗余的類型：像素間冗余（空間冗余）視覺心理冗余編碼冗余（信息熵冗余）Interpixelredundancy像素間冗余（空間冗余）Psychovisualredundancy視覺心理冗余Codingredundancy編碼冗余（信息熵冗余）圖像編碼的方法很多，可以以多種方式對其進行分類。Approaches(1)根據編碼過程中是否存在信息損耗分為無損壓縮和有損壓縮：（1）無損壓縮：無信息損失，解壓縮時能夠從壓縮數據精確地恢復原始圖像，壓縮比不大。（2）有損壓縮：不能精確重建原始圖像，存在一定程度的失真，壓縮比大。Approaches(2)根據編碼原理分類：（1）熵編碼（EntropyEncoding）：常用的熵編碼方法有行程編碼（RunLengthEncoding）、霍夫曼編碼（HuffmanEncoding）和算術編碼（ArithmeticEncoding）。（2）預測編碼（PredictiveEncoding）：常用的預測編碼有差分脈沖編碼調制（DifferentialPulseCodeModulation）。（3）變換編碼（TransformEncoding）：（4）混合編碼：是指綜合了熵編碼、變換編碼或預測編碼的編碼方法，如JPEG標準。ATourofJPEGCodingAlgorithmJointPhotographicExpertsGroup（簡稱JPEG）：靜止圖像壓縮算法的國際標準。為了提高壓縮效率，考慮到局部子塊中圖像相關性強的事實，通常采用的方法是，將圖像分成8×8的子塊。對每個子塊獨立地進行DCT變換。（DCT比DFT具有更強的信息集中能力；離散傅里葉變換要求復數運算，運算量大，難于滿足實時圖像處理的要求，而DCT是一種實數域的變換，運算量比