1、LOGO5.1 圖像復原的基本概念 5.2 圖像退化模型 5.3 圖像復原的方法 5.4 運動模糊圖像的復原 5.5 圖像的幾何校正 第5章 圖像復原LOGO5.1 圖像復原的基本概念v 什么是圖像退化? 圖像的質量下降叫做退化。退化的形式有模糊、失真、有噪聲等v 圖像退化的原因 無論是由光學、光電或電子方法獲得的圖像都會有不同程度的退化；退化的形式多種多樣。如傳感器噪聲、攝像機未聚焦、物體與攝像設備之間的相對移動、隨機大氣湍流、光學系統的相差、成像光源或射線的散射等； 如果我們對退化的類型、機制和過程都十分清楚，那么就可以利用其反過程來復原圖像。LOGO a) 被正弦噪聲干擾的圖像 b) 濾

2、波效果圖用巴特沃思帶阻濾波器復原受正弦噪聲干擾的圖像5.1 圖像復原的基本概念LOGO a)受大氣湍流的嚴重影響的圖像 b)用維納濾波器恢復出來的圖像維納濾波器應用5.1 圖像復原的基本概念LOGOv圖像復原 將降質了的圖像恢復成原來的圖像，針對引起圖像退化的原因，以及降質過程某先驗知識，建立退化模型，再針對降質過程采取相反的方法，恢復圖像v 一般地講，復原的好壞應有一個規定的客觀標準，以能對復原的結果作出某種最佳的估計。 5.1 圖像復原的基本概念LOGOv圖像還原與增強的區別1圖像退化原因決定還原方法2評價標準不同： a）突出感興趣的那部分主觀評估 b）利用退化的逆過程恢復原始圖像， 客觀

3、評估：接近原圖像5.1 圖像復原的基本概念LOGO 無約束恢復 技術 有約束恢復 自動方法圖像恢復 策略 交互方法 根據是否需要外來干預 空域 處理域 頻域圖像一般模型：線性移不變系統標準：非線性恢復、線性恢復5.1 圖像復原的基本概念LOGO5.2 圖像退化模型降質過程可看作對原圖像f (x, y)作線性算。 g(x, y) H f (x, y)+n(x, y) 降質后 降質模型 噪聲Hf (x,y)n(x,y)LOGOv以后討論中對降質模型H作以下假設： H是線性的 H是空間（或移位）不變的 對任一個f(x, y)和任一個常數 和都有： H f(x-,y-) = g(x-,y-) 就是說圖

4、像上任一點的運算結果只取決于該點的輸入值，而與坐標位置無關。1122122,Hk fx yk fx yk Hfx yk Hfx y5.2 圖像退化模型LOGOf(i, j)：原始圖像g(i, j)：降質圖像H()： 成像系統的作用，則：由于 函數的篩選性質（一幅圖像可以看作是由一系列沖激函數組成的）5.2 圖像退化模型LOGO,dd,dd(),dd,dd,gx yHfxyHHfxyHfHxyfhxyhxyH 根 據 沖 激 響 應 定 義（為 一 維 性 算 子 ）是 空 間 移 不 變稱為 擴 散 函 數 （ PSF） 或 系 統 沖 激 響 應系 統的 沖 激 相 應 ， 在 光 學 中

5、沖 激 為 一 個 光 點 ， 退 化 可 以 理解 為 系 統 沖 激 響 應 造 成 圖 像 的 降 質5.2 圖像退化模型LOGO( , )( ,) (,)d d( , )( , )g x yfh xyf x yh x y 多數情況下系統為時不變的，反映在圖像中為位移不變的，則其中*表示卷積運算。如果H()是一個可分離系統，即12( , ; ,)( , )( ,)h xyh xhy則二維運算可以分解為列和行兩次一維運算來代替5.2 圖像退化模型LOGOv在加性噪聲情況下，圖像退化模型可以表示為 其中n(x, y)為噪聲圖像( , )( , )( , )( , )g x yf x yh x

6、 yn x y5.2 圖像退化模型LOGO f (x,y) H n (x,y) g (x,y) v線性位移不變的圖像退化模型則表示為：5.2 圖像退化模型( , )( , )( , )( , )g x yf x yh x yn x yLOGOv重要結論 一個線性系統完全可以由它的點擴散函數h(x,y,) 來表征。若系統的PSF已知，則系統在（x，y）點的輸出響應可看成是不同坐標 處輸入函數 所產生的脈沖響應在（x，y）處的疊加。 而在實際降質過程中，降質的另一個復雜因素是隨機噪聲，考慮有噪聲的圖像恢復，必需知道噪聲統計特性以及噪聲和圖像信號的相關情況，這是非常復雜的。( ,) ( , )f 5

7、.2 圖像退化模型LOGO ( , ),d d,g x yfh xyn x y 實際中假設是白噪聲頻譜密度為常數，且與圖像不相關，（一般只要噪聲帶寬比圖像帶寬大得多時，此假設成立的），由此得出圖像退化模型。 5.2 圖像退化模型Hf (x,y)n(x,y)LOGO討論恢復問題討論恢復問題： 討論的前提是假設H是線性的，下面一些恢復方法都是對上述模型的近似估計。兩邊進行付氏變換，若略去噪音N，得：( , )( , ) ( , )( , )G u vH u v F u vN u vGFH反變換,可求 Ff 5.2 圖像退化模型LOGO 若H有零點，G也有零點出現，0/0的不定值，這樣模型不保證所有

8、逆過程都有解 由于引起退化的因素眾多，而且性質不同，目前又沒有統一的恢復方法，許多人根據不同的物理模型，采用不同的退化模型、處理技巧和估計準則，從而導出了多種恢復方法有效方法有效方法：針對特定條件，用特定模型處理5.2 圖像退化模型LOGO對于圖像降質過程進行數學建模f(i, j)：原始圖像；y(i, j)：降質圖像h(i, j; k, l)：點擴散函數圖像為MN維11( , )( , ; , ) ( , )( , )MNkly i jh i j k l f k ln i j假設為空間移不變h(i, j; k, l)，則：11( , )(,) ( , )( , )( , )( , )( , )

9、MNkly i jh ik jl f k ln i jh i jf i jn i j5.2 圖像退化模型LOGO5.3 圖像復原的方法v尋找濾波傳遞函數，通過頻域圖像濾波得到復原圖像的傅立葉變換，再求反變換，得到復原圖像 非約束還原 有約束還原 非線性約束還原LOGOv退化模型：v逆過程：復原圖像：5.3.1 反向濾波法( , )( , )*( , )( , )g x yh x yf x yn x y( , )( , )*( , ) ( , )* ( , )( , )*( , )( , )( , ) ( , )( , )( , )1( , )( , )( , )( , )( , )( , )I

10、IIIf x yg x yh x yh x yf x yn x yh x yF u vH u v F u vN u v H u vN u vH u vF u vF u vH u vH u v設：當H(u, v)為0或很小時， ；原點附近：圖像完全被噪聲淹沒，造成噪聲放大 ( , )F u v( , )( , )N u vF u,vH u v（）LOGOv解決方法：去除原點、 設置原點值原點、鄰域均不計算 f (x, y)H(u, v) n(x, y) g(x, y)M(u,v)( , )f x y恢復轉移函數( , )( , ),11/( , )kH u vdM u vk dH u v其中其它

11、 5.3.1 反向濾波法LOGO5.3.2 約束還原法v維納濾波 維納濾波恢復正是在假定圖像信號可近似看作平穩隨機過程的前提下，按照使原圖像f (x, y)與恢復后的圖像 之間的均方誤差e2達到最小的準則，來實現圖像恢復。即： 滿足這一要求的轉移函數為：22m in ,eEfxyfxy2,wnfHu vHu vSu vHu vSu vnfSS噪聲圖像功率譜原始圖像功率譜fLOGOv 現象1）H(u, v)=0，無病態現象，分母不為02）SNR高時，同反向濾波法3）SNR低時，效果不滿意v原因 維納濾波是基于平穩隨機過程模型，且假設退化模型為線性空間不變系統的原因，這與實際情況存在一定差距。另外

12、，最小均方誤差準則與人的視覺準則不一定匹配5.3.2 約束還原法LOGOv最大平滑復原 準則：以函數平滑為基礎 1）使函數的二階導數為最小。二階導數是突出圖像邊緣、輪廓約束條件： 約束最小二乘需反復迭代才能完成2222*22min010( , )PSF:( , )( , )141( , )( , )010CffxyHu vHu vp x yH u vP u v5.3.2 約束還原法LOGO2）用內積來考察函數f 的平滑性2222*2()( , ):( , )( , )nuCgH fNgfhHu vTFHu vH u v 約束條件：退化圖像復原圖像系統脈沖響應濾波器的5.3.2 約束還原法LOG

13、O5.4 運動模糊圖像的復原v退化的原因為已知v對退化過程有先驗知識，如希望能確定PSF和噪聲特性 即確定： h(x, y)與n(x, y) g(x, y)=H f (x, y)+n(x, y)LOGO5226,expH u vc uv1根據導致模糊的物理過程（先驗知識）1）大氣湍流造成的傳遞函數 PSF5.4.1 模糊模型c：與湍流性質有關的常數LOGO2）光學系統散焦傳遞函數 12212120 d, d:1arg221kkkkJHu vuvdJZZJZZkk這 里 ：光 學 系 統 散 焦 點 擴 散 函 數 的 直 徑 。第 一 類 一 階 貝 塞 爾 函 數當光學系統散焦時，點光源的像

14、將成圓盤。從公式可看出，散焦系統的傳遞函數在以原點為中心，d為半徑處存在零點，形成一些同心的暗環，由散焦圖像的頻譜上估計出這些同心圓的半徑，可得到H（u, v）5.4.1 模糊模型LOGO均勻聚焦不準模糊 相機聚焦不準確引起，（不聚焦由許多參數決定：如相機的焦距、相機孔的大小、形狀、物體和相機之間的距離等）2221,( , )0, ijRh i jR其他在研究中為了簡單起見，用下列函數表示聚焦不準引起的模糊：5.4.1 模糊模型LOGO 000( , ),dTg x yf x x t y y tt模糊后圖像任意點的值 ：sin ( , ) cossinllwH u vlww uv 由于運動造成

15、的點的位移長度與水平方向成 角特點：圖像的頻譜在垂直于該方向上存在暗直線，可估出 的大小，運動方向 也可由圖像的頻譜估計出來l已知：設相機不動，對象運動，運動分量x,y分別為x0(t)，y0(t)相機快門速度是理想的，快門開啟時間（曝光時間）T。 3）勻速直線運動模糊下的PSF 相機與景物之間相對運動造成圖像降質，H(u, v) 運動模糊：5.4.1 模糊模型LOGO2由圖像中的點或線估計（后驗知識）1）原始景物中有一清晰的點或點光源。由所成的像得到退化系統的PSF；2）原始景物中確定一條線，成像，由直線產生模糊，根據模糊可以測定在于邊緣垂直方向上的PSF斷面曲線，得出一維PSF，如果PSF對

16、稱，旋轉一維PSF得到二維PSF。5.4.1 模糊模型LOGO3由功率譜估計PSF4噪聲n(x,y)的確定相關、不相關兩類。一般假設：白色噪聲，與圖像無關。其頻譜密度為常數。只要噪聲帶寬遠大于圖像帶寬即可作白噪聲處理從退化圖像大塊平坦區中估計，一般不具備噪聲先驗知識。不同方法要不同特征參數方差，頻譜5.4.1 模糊模型LOGO5.4.2 水平勻速直線運動引起模糊的復原v 如果模糊圖像是由景物在x方向上作均勻直線運動造成的，則模糊后圖像任意點的值為 去除由x方向上均勻運動造成的圖像模糊后恢復圖像的表達式 00( , )( ), dTg x yf xx tyt1000( , )(, )(, )mK

17、mkmkf x yAg xka yg xka yKLOGOa) 原始圖像 b) 模糊圖像 c) 復原圖像運動模糊圖像的恢復處理5.4.2 水平勻速直線運動引起模糊的復原LOGO5.5 圖像的幾何校正5.5.1 幾何畸變的描述5.5.2 幾何校正LOGOv例： 從太空中宇航器拍攝的地球上的等距平行線，圖像會變為歪斜或不等距；用光學和電子掃描儀攝取的圖像常會有桶形畸變和枕形畸變；用普通的光學攝影與測試雷達拍攝的同一地區的景物二者在幾何形狀上有較大的差異。v 以一副圖像為基準，去校正另一種方式攝入的圖像，以校正其幾何畸變，就叫做圖像的幾何畸變復原或者幾何畸變校正。5.5 圖像的幾何校正LOGOv 幾

18、何校正就是一種幾何變換，是圖像的幾何畸變的反運算，與幾何變換類似，幾何校正是由輸出圖像像素坐標反算輸入圖像坐標，然后通過灰度再采樣求出輸出像素灰度值。v 圖像幾何校正的兩個步驟 (1)空間變換：對圖像平面上的像素進行重新排列以 恢復原空間關系 (2)灰度插值：對空間變換后的像素賦予相應的灰度 值以恢復原位置的灰度值5.5 圖像的幾何校正LOGO5.5.1 幾何畸變的描述 f (x, y) g(x, y) 幾何基準圖像的坐標系統用(x, y)來表示，需要校正的圖像的坐標系統用(x, y)表示設兩個圖像坐標系統之間的關系用解析式表示11001100NNijijijNNijijijxa x yyb

19、x y通常h1(x,y)和h2(x,y)用多項式來表示：12( , )( , )xh x yyh x yLOGOv 通常用線性畸變來近似較小的幾何畸變v 更精確一些可以用二次型來近似v 若基準圖像為f(x, y)，畸變圖像為g(x, y)，對于景物上的同一個點，假定其灰度不變，則5.5.2 幾何校正012012xaa xa yybb xb y2201234522012345xaa xa ya xa xya yybb xb yb xb xyb y( , )( ,)f x yg x yLOGOv幾何變換 通常用已知的多對對應點來確定系數a, b 線性畸變 可由基準圖找出三個點(x1, y1), (x2, y2), (x3, y3)與畸變圖像上三 個點(x1, y1), (x2, y2), (x3, y3)一一對應。012012xaa xa yybb xb y5.5.2 幾何校正LOGO將對應點代入，有： 解聯立方程組，得出6個系數。111022213332111022213332x1xyx1xyx1xyy1xyy1xyy1xyaaabbb5.5.2 幾何校正LOGO二次畸變2201234522012345xaa xa ya xa xya yybb xb yb xb xy