1、數數 字字 圖圖 像像 處處 理理第五章第五章 圖像復原圖像復原圖像復原圖像退化模型退化參數估計逆濾波復原維納濾波復原約束最小平方濾波復原等功率譜濾波復原圖像幾何復原圖像復原實際成像過程中，由于各種原因使圖像質量下降（圖像退化，圖實際成像過程中，由于各種原因使圖像質量下降（圖像退化，圖像降質）像降質）原因：隨機因素（噪聲或其它隨機干擾） 系統誤差（散焦，幾何畸變，相對運動，大氣湍流，等）圖像復原將退化圖像恢復成原圖像（提高逼真度）要求：對退化機制（物理過程）有足夠的了解建立退化模型，然后“逆向”進行補償。實際的退化過程很復雜，退化模型是近似描述復原后的圖像只是對原圖像的一個估計，即在某種準則下

2、的最優估計。圖像復原一定是在某種準則（客觀評價標準）下實現的。圖像復原一定是在某種準則（客觀評價標準）下實現的。圖像復原一、退化模型g(x,y) = Hf (x,y) + n(x,y)退化圖像退化系統算子噪聲一般情況下，H可以視為線性空不變系統。設其沖激響應為h(x,y)。則有：g(x,y) = f (x,y)h(x,y) + n(x,y) 圖像f (x,y) 經退化系統作用后變為降質圖像g(x,y)。G(u,v)=F(u,v)H(u,v) + N(u,v)頻域形式：點擴散函數(PSF)圖像復原q 退化模型的離散形式 一維情況設f (x)有A個采樣值，h(x)有B個采樣值。計算離散卷積時，為了

3、避免交疊誤差，需要將f (x) 和 h(x)擴展為周期是N=A+B1的周期函數，即： fe(x) = f (x) 0 x A0 A x N he(x) = h(x) 0 x B0 B x N圖像復原不考慮噪聲時，輸出為： ge(x) = f (x)h(x) = n=0N -1 fe(n) he(x n) ge(x)周期為N 的周期函數。上述離散卷積可以表示為矩陣形式：g = H fge(0)ge(1)ge(2)ge(N1)he(0) he(1) he(2) he(N+1)he(1) he(0) he(1) he(N+2)he(2) he(1) he(0) he(N+3) . he(N1) he

4、(N 2) he(N3) he(0)fe(0)fe(1)fe(2)fe(N1)=圖像復原因he(x)是周期函數： he(x) = he(N+x)，則有he(0) he(N1) he(N 2) he(1)he(1) he(0) he(N1) he(2)he(2) he(1) he(0) he(3) . he(N1) he(N 2) he(N3) he(0)H = H矩陣的每一行都是前一行向右循環移位的結果循環矩陣。圖像復原 二維情況推廣到二維: 設 f (x,y)AB; h(x,y)CD;擴展為 MN 個元素； M=A+C 1； N=B+D 1； fe(x,y) = f (x,y) 0 x A;

5、 0 y B;0 A x M; B y N; he(x,y) = h(x,y) 0 x C; 0 y D;0 C x M; D y N;圖像復原 ge(x,y) = n=0N -1 fe(m, n) he(xm, yn) m=0M -1矩陣形式 g = H ffe(0,0)fe(0,1)fe(0,N1) fe(1,0)fe(1,1)fe(1,N1) fe(M1,0)fe(M1,1)fe(M1,N1)f =（g 與 f 構成形式相同）圖像復原H為 MN MN 維矩陣，包括 M M 個塊，每一塊的大小為N N 。H0HM-1HM-2H1H1H0HM-1H2H2H1H0H3HM-1HM-2HM-3H

6、0he(j,0)he(j,N1)he(j,N2)he(j,1)he(j,1)he(j,0)he(j,N1)he(j,2)he(j,N1)he(j,N2)he(j,N3)he(j,0)H =Hj =圖像復原 Hj 是循環矩陣；且H中各分塊的下標變化也是右移循環的。 H分塊循環矩陣。離散退化模型的一般形式： g = H f + n (n為噪聲）圖像復原已知 H 和 n ，由退化圖像 g 得到原圖像 f 的估計 f實際的復原過程是設計一個濾波器，使其能從降質圖像中計算得到原真實圖像的一個最優估計。廣義上講，圖象復原是一個求逆問題，逆問題經常存在非唯一解，甚至無解。為了得到逆問題的有用解，需要有先驗知

7、識以及對解附加某些約束條件。圖像復原二、退化參數的估計估計退化系統的點擴散函數（PSF）以及噪聲的統計特性。（1）已知退化機制運動模糊的點擴散函數相機與景物之間有相對運動的情況：已知(t)，(t) 分別是位移 x 和 y 的分量，T為曝光時間。則降質圖像為g(x,y) = T/2T/2 f (x(t), y(t) )dt圖像復原做傅立葉變換：exp(j2(ux+vy) dxdyT/2T/2 f (x(t), y(t) )dtG(u,v) = 令 = x(t); = y(t) ; 有G(u,v) = expj2(u(t) +v(t) f (,) exp(j2(u +v) ddT/2T/2dt =

8、 F (u,v)expj2(u(t) +v(t)dtT/2T/2= F(u,v) H(u,v)圖像復原H(u,v) = expj2(u(t) +v(t)dtT/2T/2設為直線運動：(t)= at； (t)=bt；則H(u,v) = expj2(uat+vbt)dtT/2T/2expj2KtdtT/2T/2=sin(KT)K exp(jKT)(令 K=ua+vb)物理解釋 ？圖像復原光學系統散焦模糊的傳遞函數散焦情況下，點光源成像為圓斑，其傳遞函數為d散焦點擴散函數的直徑（參數）J1() 一階貝塞爾函數J1(d)dH(u,v) =（或者，簡化為高斯函數）（或者，簡化為高斯函數）22vu 圖像復

9、原大氣湍流模糊的傳遞函數k與湍流性質有關的參數；（長時間曝光情況下）(a)可忽略的湍流；(b)劇烈湍流；k=0.0025;(c)中等湍流；k=0.001;(d)輕微湍流；k=0.00025;abcd圖像復原（2）根據后驗知識估計 利用圖像中的點、線 、邊 用實驗方法獲得退化系統的點擴散函數的數值化形式。對于點或線，直接測量模糊后的灰度分布形式代替點擴散函數；對于階躍邊緣，用測量模糊后的灰度分布的導數代替點擴散函數； dfgfgfgdt 階躍邊緣的導數為Dirac函數；且有（利用邊線時，測得的結果是與其垂直方向上的一維點擴散函數）圖像復原（3）噪聲統計特性的估計（一般假設為加性、高斯白噪聲）選取

10、圖像中較大的平坦區域，計算局部灰度的各階矩及其功率譜，以此作為對整個圖象噪聲的估計?；蛘?，由整個圖像功率譜估計噪聲功率譜由退化模型得到： 退化圖像功率譜原圖像功率譜噪聲功率譜Sg(u,v) = |H(u,v)|2 Sf(u,v) + Sn(u,v)SgSfSn信號能量集中在低頻段，噪聲能量在高頻段突出可以在功率譜上分開圖像復原三、圖像濾波復原尋找濾波器傳遞函數，在頻域做濾波，然后變換到空域，得到對原圖像的估計。（1）逆濾波復原）逆濾波復原由退化模型 G(u,v)=F(u,v)H(u,v) + N(u,v)若不考慮噪聲，得：G(u,v)H(u,v)F(u,v) =故逆濾波傳遞函數為1H(u,v)

11、HI(u,v) =（反向濾波器）圖像復原逆濾波結果：F(u,v) = HI(u,v)G(u,v) =G(u,v)H(u,v)= F(u,v) +N(u,v)H(u,v)噪聲放大問題此項嚴重影響復原效果。若H(u,v)有零點或很小，導致噪聲放大。而且，一般在離原點較遠時衰減很快，但噪聲信號處于高頻范圍。N(u,v)H(u,v)因此復原只能局限于頻域中的有限區域，且選擇信噪比高的頻率。F(u,v) N(u,v)H(u,v)F(u,v) N(u,v)H(u,v)10w =F(u,v) = F(u,v) +N(u,v)H(u,v)w方法*圖像復原方法* 通過對待復原圖像進行低通濾波限制復原范圍。a b

12、c d(a)沒有低通限制的全濾波(b)截止頻率為40(c)截止頻率為70(d)截止頻率為85（采用10階巴特沃斯低通）逆濾波對大氣湍流圖像(b)進行復原圖像復原（2）維納濾波復原（最小均方誤差濾波）維納濾波復原（最小均方誤差濾波）設原圖像 f 的估計為 f ，均方誤差定義為：e2 = E( f f )2若：f 與噪聲不相關，且噪聲均值為零，則使上述誤差函數最小的解在頻域的形式為：vuSvuSvuHvuHvuHfnw,2Sn，Sf 分別為噪聲及原圖像的功率譜。 nfSS“信噪比”圖像復原要求知道噪聲與圖像統計特性（功率譜） 避免了逆濾波的噪聲放大問題：0fnSS若H(u,v)=0，但 , 則 H

13、w(u,v) = 0 若 0 （信噪比高），則 Hw(u,v) fnSS1H(u,v)反之，若信噪比差，則 Hw(u,v) 0。一般情況下，Sn 與 Sf 難以預先知道，可以利用下式：圖像復原kvuHvuHvuHw2,（k為可調節的參數）實際上，最小二乘準則與人的視覺準則并不匹配（人眼對暗處和高梯度區域的誤差比其它區域具有更大的容忍性）。（3）約束最小平方濾波復原）約束最小平方濾波復原準則準則在滿足約束條件下，使所定義的 平滑函數最小。定義平滑函數： dxdyyxff2),()(圖像復原由退化模型),(),(),(),(yxnyxfyxhyxg dxdyyxndxdyyxfyxhyxg),()

14、,(),(),(22得約束方程在滿足此約束條件的同時，求在滿足此約束條件的同時，求 f ，使平滑函數，使平滑函數 (f ) 最小。最小。此問題的解在頻域的形式為：2*),(),(),(vuHvuHvuHc（ 為待定參量，只與噪聲的均方差有關）為待定參量，只與噪聲的均方差有關）圖像復原 dxdyyfxff2222)(22*),(),(),(),(vuPvuHvuHvuHc可以采用其它平滑性度量，如：則在同樣的約束條件下，使 (f ) 最小的解為：其中，P(u,v) 是 p(x,y) 的付氏變換，而p(x,y) 的形式為：010141010 p(x,y) =Laplacian變換的掩摸形式是需調整

15、的參數，以滿足約束方程。無噪聲時 =0，變為逆濾波。一般需要迭代求解。圖像復原（4）等功率譜濾波復原）等功率譜濾波復原準則準則使得復原圖像的功率譜與原圖像相等，即：),(),(vuSvuSff設則),(),(),(yxgyxhyxfp),(),(),(vuGvuHvuFp根據準則，有),(),(),(2vuSvuGvuHfp),(),(),(2vuSvuSvuHfgp (5-3-4-1)圖像復原由退化模型： g(x,y) = h(x,y) f (x,y)+n(x,y) g g = hf + n hf + n f n = 0 = (hf ) (hf ) + n n + 2(hf ) n 設 f

16、(x,y)與 n(x,y)不相關，則兩邊做傅立葉變換：則 Sg(u,v) = H(u,v)2 Sf(u,v) + Sn(u,v)代入(5-3-4-1)，得212),(),(),(),(),(vuSvuSvuHvuSvuHnffp 自相關圖像復原 當H(u,v)=0時，Hp(u,v)0 （而維納濾波器的Hw(u,v)=0）； 當無噪聲時，轉化為逆濾波器；由于維納濾波器在某些點處的頻率響應為零，會導致頻率響應起伏較大 在空域產生虛假的紋理模式。等功率譜濾波器具有很強的復原能力，在某些情況下，性能優于維納濾波器。HwHp圖像復原逆濾波復原和維納濾波復原的比較a bc d e(a)原圖；(b)退化圖像

17、(c)全逆濾波(d)有限頻域逆濾波(e)維納濾波圖像復原(a)運動模糊及噪聲污染的圖像；(b)逆濾波結果；(c)維納濾波結果；(d)-(f)同樣的序列，但噪聲方差小了一個數量級；(g)-(i)同樣的序列，但噪聲方差小了5個數量級；abcdefghi圖像復原約束最小平方濾波維納濾波圖像復原四、圖像代數復原方法對于離散圖像，若退化系統為線性空不變，且噪聲為加性，可以將圖像復原統一在代數復原方法的框架內進行。準則為最小二乘準則。（1）非約束復原）非約束復原退化模型 g = Hf + n定義代價函數：J (f) = | g Hf |2 (5-4-1)在沒有任何約束條件下，尋找使 J (f ) 為最小的

18、解f圖像復原由 J (f) = ( g Hf )T (g Hf )令J(f)f= 02HTg + 2HTHf = 0（H為分塊循環矩陣），設逆H-1存在，有 = (HTH)-1 HTgf得 = H-1 (HT)-1 HTg = H-1gfXT代表X的共軛轉置圖像復原H 可表示為 H = WDW-1D 對角矩陣（其值由H的特征值組成） W 對角化矩陣（其列由H的特征向量組成）循環矩陣對角化方法循環矩陣對角化方法 = H-1g = (WDW-1)-1g = WD-1W-1gf有 = D-1W-1gW-1fW-1的元素是離散傅立葉變換核；D的元素是h(x,y)的離散傅立葉變換的離散付氏變換fg 的離

19、散付氏變換所對應的連續形式為：G(u,v)H(u,v)F(u,v) =（即逆濾波）圖像復原（2）約束復原）約束復原令令Q為為f 的線性算子（則的線性算子（則 Qf 是對圖像是對圖像 f 的濾波運算），在的濾波運算），在滿足約束的條件下，使滿足約束的條件下，使 | Qf |2 為最小。為最小。 | Qf |2 min 濾波作用（去噪） | g Hf |2 = | n |2 約束（依據復原要求）利用拉格朗日乘子法，定義代價函數： J (f ) = | Qf |2 + L(| g Hf |2 | n |2 )（L為乘子）J(f)f= 0J(f)L= 0要求：圖像復原 = 2QTQf 2LHT(g H

20、f) = 0J(f)f = | g Hf |2 | n |2 = 0J(f)L (5-4-2)由(5-4-2)解得： = ( HTH + QTQ )-1 HTgf（ =1/L 待調節參量，調整到滿足約束條件）問題：如何選擇Q (5-4-3)圖像復原 對于維納濾波對于維納濾波QTQ = Rf-1Rn ； 其中 Rf = EffT， Rn= EnnT （Rf 和 Rn 分別對應原圖像和噪聲的自相關矩陣）由(5-4-3)得： = ( HTH + Rf-1Rn )-1 HTgf 與H對角化相同，將 Rf 和 Rn 對角化： Rf = WDfW-1； Rn = WDnW-1代入(5-4-4)，得(5-4

21、-4)圖像復原 = ( WD*DW-1 + WDf-1DnW-1 )-1 WD* W-1gf（表示共軛）兩邊左乘W-1，上式化為： = ( D*D + Df-1Dn )-1D* W-1gfW-1 D 對角陣，元素是H 的傅立葉變換； Df 和 Dn對角陣，元素分別是f 和 n 的自相關矩陣的傅立葉變換（自相關的傅立葉變換為功率譜）故所對應的連續形式為：Sn(u,v)Sf(u,v)|H(u,v)|2 +H *(u,v) G(u,v)F(u,v) =圖像復原若 = 1，則為前述維納濾波器，但一般不能保證滿足約束條件。上式稱為參變維納濾波器參變維納濾波器（調整 使約束條件滿足）。 對于以平滑度為約束

22、對于以平滑度為約束（1）若要求 | f |2 min ，則Q為單位矩陣，由(5-4-3) 可得|H(u,v)|2 + H *(u,v)G(u,v)F(u,v) =（2）若要求二階導數最小，Q可選擇為拉普拉斯算子形式，同 樣由(5-4-3) ，得到頻域公式。 圖像盲復原（blind deconvolution）在許多實際情況下點擴展函數難以預先確定，必須從觀察圖像中以某種方式提取退化信息，實現圖像復原，即圖像盲復原方法。圖像復原 圖像盲復原是一個病態問題，難以保證收斂性; 計算量大; 在某種準則下，利用原始圖像以及PSF的部分部分先驗知識或約束， 同時對原圖像和PSF進行估計，一般需要迭代求解;

23、圖像復原 迭代盲解卷積（迭代盲解卷積（IBD）(Ayers and Dainty,1988)0),(0kyxh),(yxfk),(yxfkFFT(k=k+1)空域約束IFFT頻域約束頻域約束FFTIFFT空域約束初始估計初始估計),(yxhk),(yxhk),(vuFk),(vuFk),(vuHk),(vuHk),(),(),(yxhyxfyxg),(),(),(vuHvuFvuG空域約束：空域約束：f 支撐域內的像素灰度非負；h支撐域外為零迭代過程中能量保持頻域約束：頻域約束：滿足),(),(),(vuHvuFvuG本質上是逆濾波（修正形式）頻域約束：21211),(),(),(),(),(

24、vuHvuFvuFvuGvuHkkkk21211),(),(),(),(),(vuFvuHvuHvuGvuFkkkk圖像復原（為參變量）改進的方法改進的方法采用維納濾波形式采用維納濾波形式 PSF是正的，且在有限域內有hSyxyxh,1),( IBD在頻域具有維納濾波的形式（代表噪聲水平），抗噪性好； 計算復雜度低； 穩健性較差（對初始估計敏感，不能保證收斂）。圖像復原空域約束原圖像的“有限支撐”（包含原圖像的最小矩形）非負 迭代中，將支撐域內的負值像素和支撐域外不為零的像素置零。非負支撐約束遞歸逆濾波（非負支撐約束遞歸逆濾波（NASRIF） 原圖像的背景是均勻的黑、灰或白； 原圖像的像素值是

25、正的，并且已知有限支撐域； 原圖像和PSF是不可約的； PSF的逆存在，并且PSF及其逆是絕對可和的 約束條件：基本原理降質圖像經FIR濾波器u(x,y)產生估計圖像 f ，此估計圖像再經非線性映射（即加以約束）產生對應原圖像性質的一個凸集投影 fNL，利用 fNL 與 f 的誤差來更新濾波器 u(x,y)圖像復原g(x,y) u(x,y)NLe(x,y),(yxf),(yxfNL2),(),(2),(21),( ),(2),(sgn(1),()(supsupyxDyxBDyxyxuLyxfyxfyxfuJ代價函數：（Dsup為支撐域，Dsup為非支撐域；第三項為正則項，防止背景全黑時u(x,y)的系數全為零，只有當LB=0時為非零）圖像復原圖像復原（*從非負性和有限支撐的約束可以外推圖像的高頻成分）支撐域模糊圖像邊界支撐域原圖像邊界 結構簡單，代價函數為凸函數，收斂性好（采用共軛梯度算法） 對噪聲敏感盲復原的正則化形式盲復原的正則化形式 定義代價函數，求滿足某種約束的 f 和 h,使得代價函數最小 （通常在MAP優化準則下導出）)()(),(22112hCfChfghfJC1()和 C2() 為正則化項，通常取高通