1、數字圖像處理數字圖像處理電子與信息工程學院電子與信息工程學院第五章第五章 圖像復原圖像復原恢復降質的圖像恢復降質的圖像如何實現恢復？如何實現恢復？運動形成的模糊運動形成的模糊復原后圖像復原后圖像離焦形成的模糊離焦形成的模糊原始圖像原始圖像圖像的降質或者退化圖像的降質或者退化產生原因產生原因光學光學系統系統中的中的衍射衍射傳感傳感器非器非線性線性畸變畸變光學光學系統系統的像的像差差攝影攝影膠片膠片的非的非線性線性大氣大氣流的流的擾動擾動效應效應圖像圖像運動運動造成造成的模的模糊糊幾何幾何畸變畸變亞采樣亞采樣 第第5章章 圖像復原圖像復原目的：目的：盡量減少或去除獲取圖像或處理圖像過盡量減少或去除

2、獲取圖像或處理圖像過程中的圖像降質程中的圖像降質(圖像退化圖像退化)，恢復其本來面，恢復其本來面目。目。確定損壞過程，并嘗試其逆過程進行復原確定損壞過程，并嘗試其逆過程進行復原類似于圖像增強，但更加客觀類似于圖像增強，但更加客觀圖像增強：圖像增強：旨在改善圖像質量。提旨在改善圖像質量。提高圖像的可懂度。高圖像的可懂度。圖像復原：圖像復原：力求保持圖像的本來面力求保持圖像的本來面目，以保真原則為前提，提高圖像目，以保真原則為前提，提高圖像的逼真度。的逼真度。方法：方法：要弄清楚降質或退化的原因，分析引起要弄清楚降質或退化的原因，分析引起降質或退化的因素，建立相應的數學模降質或退化的因素，建立相應

3、的數學模型，并沿著圖像降質的逆過程恢復圖像。型，并沿著圖像降質的逆過程恢復圖像。 圖像增強：圖像增強：空間域，頻率域。空間域，頻率域。圖像復原：圖像復原：空間域，頻率域。空間域，頻率域。圖像復原的關鍵問題圖像復原的關鍵問題首先建立降質首先建立降質模型，其次進行空間域或頻率域上模型，其次進行空間域或頻率域上的數值求解。的數值求解。5.1 圖像降質的數學模型圖像降質的數學模型圖像復原的關鍵是對降質系統圖像復原的關鍵是對降質系統H的基本了解的基本了解系統是某些元件或部件以某種方式構造而成系統是某些元件或部件以某種方式構造而成的整體的整體系統本身所具有的某些特性構成了通過系統系統本身所具有的某些特性構

4、成了通過系統的輸入信號與輸出信號的某種聯系的輸入信號與輸出信號的某種聯系n線性系統：線性系統：()()1212( , ),( , )H f x yf x yH f x yH f x yaa輊輊+=+臌臌多個激勵情況下的輸出求解簡單多個激勵情況下的輸出求解簡單 (,)(,)Hxyh xydabab-=-圖像上任一點通過該系統的響應只取決圖像上任一點通過該系統的響應只取決于該點的輸入值，而與該點的位置無關于該點的輸入值，而與該點的位置無關移不變移不變5.1 圖像降質的數學模型圖像降質的數學模型簡單的通用退化復原簡單的通用退化復原模型模型(),fx y5.1.1連續圖像退化的數學模型連續圖像退化的數

5、學模型退化系統或退化系統或降質系統降質系統圖像圖像f(x,y)降質圖像降質圖像g(x,y)假設：假設：n系統是線性的；系統是線性的；n噪聲不存在該系統中；噪聲不存在該系統中；描述一個系統的性能通常用：描述一個系統的性能通常用：沖激響應函數或者傳遞函數沖激響應函數或者傳遞函數沖激響應函數沖激響應函數h(x,y)傳遞函數傳遞函數H(u,v)傅立葉變換對傅立葉變換對5.1.1連續圖像退化的數學模型連續圖像退化的數學模型對于非線性、空間變化系統，當輸入是對于非線性、空間變化系統，當輸入是函數時，有：函數時，有：daba b-=(,)(,)Hxyh x y這類系統，求解、分析都非常困難這類系統，求解、分

6、析都非常困難,圖像圖像處理常不予考慮。處理常不予考慮。5.1.1連續圖像退化的數學模型連續圖像退化的數學模型對于一個理想的線性移不變系統對于一個理想的線性移不變系統(全通系全通系統統)，當輸入是，當輸入是函數時，有：函數時，有：(,)(,)Hxyxydabdab-=-對于一個非理想對于一個非理想(頻帶頻帶)的線性移不變系統，的線性移不變系統，當輸入是當輸入是函數時，有：函數時，有：(,)(,)Hxyh xydabab-=-5.1.1連續圖像退化的數學模型連續圖像退化的數學模型當輸入是圖像當輸入是圖像f(x,y)時，其輸出表示為：時，其輸出表示為：( , )( , )g x yH f x y=(

7、) ()( , ),f x yfxyd da b daba b- -=-蝌一幅連續的輸入圖像一幅連續的輸入圖像f(x,y)可以看作是由一可以看作是由一系列點源表示，即有：系列點源表示，即有：5.1.1連續圖像退化的數學模型連續圖像退化的數學模型()()() ()()()() (),( , )* ( , )g x yH f x yHfxyd dfHxyd dfh xyd df x yh x ya b daba ba bdaba ba baba b- - - -輊輊犏=-臌犏臌輊=-臌=-=蝌蝌蝌費雷德霍姆積費雷德霍姆積分分5.1.1連續圖像退化的數學模型連續圖像退化的數學模型線性系統線性系統H可

8、由其沖激響應來表征可由其沖激響應來表征()()() ()()()() (),( , )g x yHfx yHfxyd dfHxyd dfxyd df x ya b daba ba bdaba ba b daba b- - - -輊輊犏=-臌犏臌輊=-臌=-=蝌蝌蝌經過理想線性移不變系統，輸出保持不變經過理想線性移不變系統，輸出保持不變考慮系統受到噪聲考慮系統受到噪聲n(x,y)的影響，對于線性的影響，對于線性移不變系統，退化模型數學表達式為：移不變系統，退化模型數學表達式為：( , )( , )* ( , )( , )g x yf x y hx y nx y=+退化或降質退化或降質系統系統h(

9、x,y)圖像圖像f(x,y)降質圖像降質圖像g(x,y)噪聲信號噪聲信號n(x,y)在頻率域上，退化模型：在頻率域上，退化模型：( , )( , )( , )( , )G uF uH uN uuuuu=+退化過程退化過程 T f g 或或 F G 復原過程復原過程 T-1 g f 或或 G F ?5.1.1連續圖像退化的數學模型連續圖像退化的數學模型5.1.2幾種典型的退化模型幾種典型的退化模型一、孔徑衍射造成的圖像退化一、孔徑衍射造成的圖像退化小孔衍射造成的模糊小孔衍射造成的模糊系統是線性移不變的系統是線性移不變的 圖像退化效果圖像退化效果散焦對應的點擴展函數散焦對應的點擴展函數光學散焦系統

10、的傳遞函數為：光學散焦系統的傳遞函數為： d是散焦點擴展函數的直徑是散焦點擴展函數的直徑, J1()是是第一類貝塞爾函數。第一類貝塞爾函數。122()( , )()JdH udupruprru=+由于透鏡的有限大小及厚度非均勻性導致圖像質量由于透鏡的有限大小及厚度非均勻性導致圖像質量退化退化二、目標相對運動造成的圖像退化二、目標相對運動造成的圖像退化運動形成的模糊示例運動形成的模糊示例運動模糊的點擴展函數示例運動模糊的點擴展函數示例圖像退化效果圖像退化效果假設照相機或攝像機的曝光介質所產生的假設照相機或攝像機的曝光介質所產生的圖像退化除受相對運動影響之外，不考慮圖像退化除受相對運動影響之外，不

11、考慮其它因素的變化。其它因素的變化。 只研究勻速直線運動造成模糊圖像的只研究勻速直線運動造成模糊圖像的恢復，非勻速直線運動在一定條件下可以恢復，非勻速直線運動在一定條件下可以看成多段勻速直線運動的合成結果。看成多段勻速直線運動的合成結果。目標相對運動降質的傳遞函數目標相對運動降質的傳遞函數設物體設物體f(x,y)在一平面運動，令在一平面運動，令x(t)和和y(t)分分別是物體在別是物體在x和和y方向上的分量，方向上的分量，t表示運動表示運動的時間。記錄介質的總曝光量是在快門打的時間。記錄介質的總曝光量是在快門打開到關閉這段時間的積分。則模糊后的圖開到關閉這段時間的積分。則模糊后的圖像為：像為：

12、()( )( )000,Tg x yfxxtyytdt輊=-臌對上述式兩邊求傅立葉變換：對上述式兩邊求傅立葉變換：()()()000,exp2 ()( ),( )exp2 ()TG u vFFT g x yg x yjuxydxdyf xx tyy tdtjuxydxdypupu- - -輊=臌=-+禳镲=-+睚镲鉿蝌蝌設設: x - x0(t), = y - y0(t)則：則： x =+ x0(t), y = + y0(t) 代入上式，有代入上式，有()000,( ),( ) exp2 ()TG u vf xx tyy tjuxydxdy dtpu- -禳镲=-+睚镲鉿蝌()()()()00

13、0000000,exp2 ()exp2 ( )( ),exp2 ( )( ),exp2 ( )( )TTTG u vfjud djux ty tdtF ujux ty tdtF ujux ty tdta bpauba bpuupuupu- -禳镲=-+睚镲鉿-+=-+=-+蝌()( )000,exp2( )TH ujuxty tdtupu輊=-+臌令令上式可表示成：上式可表示成：()()(),G uF uH uuuu=勻速直線運動所造成的圖像模糊系統的勻速直線運動所造成的圖像模糊系統的傳遞函數，進行反傅立葉變換可得出系傳遞函數，進行反傅立葉變換可得出系統的點擴展函數。統的點擴展函數。()( )

14、000,exp2( )TH ujuxty tdtupu輊=-+臌如果只有如果只有x方向的勻速運動，在方向的勻速運動，在T時間里時間里物體運動水平位移為物體運動水平位移為a，則在任意，則在任意t時間時間里物體在里物體在x方向上的分量方向上的分量x0(t)=at/T,則圖則圖像系統的傳遞函數為：像系統的傳遞函數為：()0002,exp2( )exp2(1)2TTjuaH u vjux tdtatjudtTjTeuapppp-=-輊=-犏犏臌=-三、大氣湍流造成的圖像退化三、大氣湍流造成的圖像退化()()5226,expH uC uuu輊犏=-+犏臌C是與湍流性質有關的常數。是與湍流性質有關的常數。

15、只考慮長時間作用情況下，大氣湍流降質圖只考慮長時間作用情況下，大氣湍流降質圖像的系統傳遞函數像的系統傳遞函數5.1.3離散圖像退化的數學模型離散圖像退化的數學模型一、一維離散情況退化模型一、一維離散情況退化模型( )( )( )g xfxh x=*設設f(x)、h(x)分別具有分別具有A個和個和B個采樣點。個采樣點。若把若把fe(x)、 ge(x) 表示成向量形式：表示成向量形式：循環卷積寫成矩陣形式：循環卷積寫成矩陣形式： g=HfH是是MM的矩陣。的矩陣。(0),(1),(1)(0),(1),(1)TeeeTeeefff Mggg M=-=-fg則循環卷積為則循環卷積為 1100( , )

16、( , )(,)0,1,2.10,1,2.1MNeemng x yf m n h xm ynxMyN-=-=-=-邋f、g是是MN維向量，維向量，H是是MNMN矩陣，矩陣，H是分是分塊循環矩陣。塊循環矩陣。0121101221031230MMMMMM-輊犏犏犏犏=犏犏犏犏臌HHHHHHHHHHHHHHHHH矩陣形式矩陣形式 :( ,0)( ,1)( ,2)( ,1)( ,1)( ,0)( ,1)( ,2)( ,2)( ,1)( ,0)( ,3)( ,1)( ,2)( ,3)( ,0)eeeeeeeejeeeeeeeehjhj Nhj Nhjhjhjhj Nhjhjhjhjhjhj Nhj Nh

17、j Nhj輊-犏犏-犏犏=犏犏犏-犏臌HHj是由延拓函數是由延拓函數he(x,y)的第的第j行構成行構成考慮到噪聲影響，并設考慮到噪聲影響，并設n是是MN 維噪聲向維噪聲向量，則離散圖像的退化模型為：量，則離散圖像的退化模型為： g=Hf+n5.2 無約束圖像復原無約束圖像復原一、無約束代數復原法一、無約束代數復原法二、逆濾波二、逆濾波一、無約束代數復原法一、無約束代數復原法方法：不同的誤差最優準則，就得到不同方法：不同的誤差最優準則，就得到不同的復原方法的復原方法目的：已知降質圖像目的：已知降質圖像g以及降質系統的循以及降質系統的循環矩陣環矩陣H，包括對噪聲，包括對噪聲n的了解或假設，估的了

18、解或假設，估計原始圖像計原始圖像 , 使得某種事先確定的誤差使得某種事先確定的誤差最小。最小。f2n使得使得 最小的準則稱為最小二乘方準則最小的準則稱為最小二乘方準則，此時的復原方法是無約束的圖像復原。，此時的復原方法是無約束的圖像復原。gHfnngHf=+=-22TTnn ngHfgHfgHf=-=-( )0Jff=( )22JfngHf=-根據范數定義有：根據范數定義有：使得準則函數最小：使得準則函數最小：( )()J f2HgHf0fT= -=H HfH gTT=()11fH HH gH gTT-=XXTaa輊臌=XXTaa輊臌=XA X2 A XXT輊臌=二、逆濾波二、逆濾波 G(u,

19、v)=F(u,v) H(u,v)()()()uuu=,G uF uH uH(u,v)不為0二、逆濾波二、逆濾波()()()()11uuu-輊輊犏=+犏臌犏臌,N ufx yFFTF uFFTH u()()()()11uuu-輊輊犏=犏臌犏臌,G ufx yFFTF uFFTH u考慮噪聲：考慮噪聲：避免為零值避免為零值, 限制濾波頻率限制濾波頻率使其接近原點使其接近原點值。值。當退化為零或當退化為零或很小時很小時,N(u,v)/H(u,v)會變得很大會變得很大H(u,v)M(u,v)F(u,v)F(u,v)G(u,v)逆濾波模型逆濾波模型),(1),(vuHvuM令令 ，它是，它是H(u,v)

20、的逆，的逆，代表濾波器的轉移函數，代表濾波器的轉移函數，該恢復方法取名該恢復方法取名為逆濾波。為逆濾波。逆濾波模型逆濾波模型F(u,v)H(u,v)M(u,v)G(u,v)N(u,v)()u,F u逆濾波圖像復原的病態性質逆濾波圖像復原的病態性質 當當H(u,v)很小或等于零，即出現了零點，很小或等于零，即出現了零點，會導致不定解。會導致不定解。 即使沒有噪聲，一般也不可能精確地復即使沒有噪聲，一般也不可能精確地復原原f(x,y)。如果考慮噪聲項。如果考慮噪聲項N(u,v)，則出現零，則出現零點時，噪聲項將被放大，零點的影響將會更點時，噪聲項將被放大，零點的影響將會更大，對復原的結果起主導地位

21、。大，對復原的結果起主導地位。退化系統的傳遞函數退化系統的傳遞函數H(u,v)頻率逆濾波器傳遞函數逆濾波器傳遞函數改進的逆濾波器傳遞函改進的逆濾波器傳遞函數數 逆濾波器零點的影響及其改進逆濾波器零點的影響及其改進M(u,v)頻率M(u,v)頻率考慮到退化系統的傳遞函數考慮到退化系統的傳遞函數H(u,v)的帶寬的帶寬比噪聲的帶寬要窄的多，其頻率特性具有比噪聲的帶寬要窄的多，其頻率特性具有低通性質，取恢復轉移函數低通性質，取恢復轉移函數M(u,v)為為 ()()222022201,1uvH uMuuvwuuw+= +存在振鈴現象存在振鈴現象 可以用下式消除振鈴現象可以用下式消除振鈴現象 ()()(

22、 , ),1,kH u vdM uelseH uuu= 逆濾波逆濾波改進后的逆濾波改進后的逆濾波5.3 有約束圖像復原有約束圖像復原5.3.1 有約束代數復原方法有約束代數復原方法5.3.2 維納濾波維納濾波5.3.3 功率譜均衡復原功率譜均衡復原5.3 有約束圖像復原有約束圖像復原 逆濾波圖像復原是一種無約束復原逆濾波圖像復原是一種無約束復原，除了尋找一個最優估計圖像，使得準，除了尋找一個最優估計圖像，使得準則函數最小外，不受任何其它約束則函數最小外，不受任何其它約束。 只要了解降質系統的傳遞函數或點只要了解降質系統的傳遞函數或點擴展函數，就能利用前面分析的方法進擴展函數，就能利用前面分析的

23、方法進行復原。行復原。 由于傳遞函數存在零點的問題，復原由于傳遞函數存在零點的問題，復原只能局限在離原點不太遠的有限區域內進只能局限在離原點不太遠的有限區域內進行，使得無約束圖像復原具有相當大的局行，使得無約束圖像復原具有相當大的局限性。限性。 有約束圖像復原技術指除了要求有約束圖像復原技術指除了要求了解關于退化系統的傳遞函數之外，了解關于退化系統的傳遞函數之外，還需要知道某些噪聲的統計特性或噪還需要知道某些噪聲的統計特性或噪聲與圖像的某些相關知識。聲與圖像的某些相關知識。 根據所了解的噪聲先驗知識的不根據所了解的噪聲先驗知識的不同，采用不同的約束條件，從而得到同，采用不同的約束條件，從而得到

24、不同的圖像復原技術。最常見的是有不同的圖像復原技術。最常見的是有約束的最小二乘方圖像復原技術約束的最小二乘方圖像復原技術。 令令Q為為f的線性算子，設法尋找一個最優的線性算子，設法尋找一個最優估計估計 ，使形式為，使形式為 、服從約束條件、服從約束條件 的函數最小化。的函數最小化。( )222J fQfg Hfna驏=+-琪桫5.3.1 有約束代數復原方法有約束代數復原方法2fQf22gHfn-=拉格朗拉格朗日系數日系數求導并使求導并使 為零為零 ，則則()1fH HQ QH gTTTg-=+ 式中式中=1/，這個量必須調整到，這個量必須調整到約束條件被滿足為止。約束條件被滿足為止。 ( )J

25、 f0f=n求解最優估計求解最優估計 核心就是選擇一個核心就是選擇一個合適的變換矩陣合適的變換矩陣Q；n不同的不同的Q對應不同類型的有約束的最對應不同類型的有約束的最小二乘法圖像復原方法。小二乘法圖像復原方法。 f一、能量約束一、能量約束當當Q矩陣為單位矩陣時，即矩陣為單位矩陣時，即()1fH HH gTTIg-=+ 其物理意義是：當有若干個可能的解時，其物理意義是：當有若干個可能的解時，能量最小的解為最佳解能量最小的解為最佳解，此時約束條件，此時約束條件 最小。最小。2fQ二、特征約束二、特征約束 特征約束是以圖像空間的濾波特征特征約束是以圖像空間的濾波特征為依據確定約束矩陣，如為依據確定約

26、束矩陣，如121242121Q輊-犏犏= -犏犏-臌 上述的上述的Q表示在垂直方向和水平方向都取表示在垂直方向和水平方向都取二階差分，則此時的解是在所有解中二階差二階差分，則此時的解是在所有解中二階差分最小的解就是該約束條件的解。分最小的解就是該約束條件的解。5.3.2 維納濾波維納濾波維納濾波是一種最小均方誤差濾波器；圖維納濾波是一種最小均方誤差濾波器；圖像像f(x,y)與與 間的均方誤差達到最間的均方誤差達到最小的準則函數來實現圖像復原。小的準則函數來實現圖像復原。y)(x,f22emin ( , )( , )Ef x yf x y=-5.3.2 維納濾波維納濾波 核心是如何選用一個合適的

27、變換矩核心是如何選用一個合適的變換矩陣陣Q。選擇。選擇Q形式不同，可得到不同類形式不同，可得到不同類型的有約束的圖像復原方法。型的有約束的圖像復原方法。 如果選用圖像如果選用圖像f和噪聲和噪聲n的相關矩陣的相關矩陣Rf和和Rn表示表示Q可以得到維納濾波復原方法。即可以得到維納濾波復原方法。即： QTQ=Rf-1Rn()1fH HQ QH gTTTg-=+ Rf和和Rn分別是圖像分別是圖像f和噪聲和噪聲n的相關矩陣的相關矩陣 Rf = Ef fT Rn= EnnT 假設典型的相關矩陣只在主對角線方向上假設典型的相關矩陣只在主對角線方向上有一條非零元素帶，而在右上角和左下角的區有一條非零元素帶，而

28、在右上角和左下角的區域將為零值。域將為零值。 利用循環矩陣的對角化，可以寫成：利用循環矩陣的對角化，可以寫成： Rf = W A W-1 Rn = W B W-1 A和和B分別對應于分別對應于Rf和和Rn 相應的對角矩陣，相應的對角矩陣，根據循環矩陣對角化的性質，根據循環矩陣對角化的性質，A和和B中的諸元中的諸元素分別為素分別為Rf和和Rn中諸元素的傅立葉變換，并中諸元素的傅立葉變換，并用用Sf(u,v)和和Sn(u,v)表示表示 ()1*111*1fWDDWWA BWWDW gg-=+()11*1*1W fDDA B DW gg-=+()1fH HH gTTIg-=+括號內括號內都是對都是對

29、角陣角陣()()()()()()()()()()()()*222,1,nfnfHu vF u vG u vH u vSu vSu vH u vG u vH u vH u vSu vSu vgg輊犏=犏輊+犏臌臌輊犏=犏輊+犏臌臌1、如果、如果=1，稱為維納濾波器，稱為維納濾波器 ；為變量為變量，則稱為參變濾波器。，則稱為參變濾波器。2、無噪聲時，、無噪聲時，Sn(u,v)=0。退化成逆濾波。退化成逆濾波器。因此，逆濾波器可看成是維納濾波器。因此，逆濾波器可看成是維納濾波器的一種特殊情況。器的一種特殊情況。3、不知道噪聲的統計性質，即當、不知道噪聲的統計性質，即當Sf(u,v)和和Sn(u,v)未知時：未知時：()()()()2,Hu vFu vGu vHu vK*輊犏犏+犏臌5