前言（1）選題背景和其研究意義近年來，互聯網技術和信息科學都有極大的發展，這有利于人們使用計算機去處理圖像.與此同時，圖像獲取來源[1]不再局限于普通成像設備，其中數字成像設備已有大規模的更新換代，這進一步豐富了圖像獲取來源.但是卻導致圖像的信息量和信息的豐富度劇增，所以我們必須淘汰掉以往的圖像處理方法.于是，可獲得不同圖像的優勢特點與互補度的新技術或新方法就尤為重要，它能對所處理的物體有更全面、更清楚和更準確的了解，便于在當代技術下的圖像處理.圖像融合作為新研究的熱點和重點，可以有效地解決這一問題.實際上，圖像融合技術[2]的目的就是使融合后的圖像擁有更加多樣和全面的信息，它能將采集到的同一環境中不同圖像中的信息結合在一起.通過該技術可獲得綜合圖像，此圖像是在各種成像設備下、各種成像角度下、各種聚焦度下等對同一物體的描述.簡言之，經過圖像融合后，可便于人利用圖像進行決策，同時利于機器去探測和處理圖像信息.圖像融合技術在許多領域都呈現出強大的應用潛力[3].在軍事領域中，獲取清晰且完整的檢測目標和背景信息是軍事防御的前提，該技術將包含高分辨率、良好圖像質量和豐富背景細節的同一情形下的圖像進行融合，然后清晰地顯示出信息（比如隱藏在遮擋物后面、掩護在周邊環境等的信息），最后為完美防御提供很佳的前提條件.而在計算機視覺領域中，對圖像信息的要求極高，盡管現代光學成像系統已有較大的發展，但自身仍有限制，會導致計算機視覺處理效果不佳，圖像融合可匯集并表達出同一場景下的多個圖像，顯示出足夠完整的圖像信息，以利于計算機識別和處理.那么在檢測領域中，不利的環境條件（例如煙、塵、云、霧、雨等）會影響檢測結果，如果將具有不同優點（表達能力強、圖像質量佳……）的圖像進行融合，就可解決惡劣環境的問題，從而獲得較清晰的圖像，真正做到精準檢測……按照不同種類的源圖像來分析，常見的圖像融合有醫學圖像融合[4]、多聚焦圖像融合[5]、遙感圖像融合[6]等，這些源圖像經過融合后都有一定的應用價值.對于醫學圖像，若是只依靠一種成像設備去呈現人體的同一組織，則無法詳細全面地展示人體組織；通過圖像融合后，該人體組織的外部和內部圖像信息會更加豐富，可以方便醫學診斷和治療.至于多聚焦圖像，由于同一場景的聚焦點不同，圖像是模糊的，無法完全清晰；將相同成像情景下的多聚焦圖像融合，可得到全面清晰的圖像，便于利用圖像展開地物分析.而對于遙感圖像，全色圖像雖擁有高分辨率，但缺失獲取地物色彩能力，而多光譜圖像雖分辨率低，但可獲取地物色彩；兩者融合后的圖像是彩色且高分辨率的，會便于遙感探測；對于紅外光和可見光像等圖像，單一圖像必然無法涵蓋所有信息，融合圖像的圖像信息則是多樣且互補的，利于其他領域的應用.（2）國內外研究現狀圖像融合技術從二十世紀七十年代提出到現在，在國內和國外都受到重大關注.很多研究者在圖像融合的方法、手段、處理準則等都有自己獨到的見解，形成了不同的圖像融合方法[7]，常見的有以下幾類:1.加權平均法.其特點是速度快，可完整保障圖像的結構，但是不適用于像素值差異較大的情況.張莉[8]等在CT與MRI的醫學圖像融合算法中利用該方法，但其未考慮灰度值差異較大部分，直接將值平均化，最終可能融合出模糊圖像；李敏[9]等提出基于鄰域方差加權平均的圖像融合算法，但只針對圖像在某一特定局部鄰域內的像素，適用性不強.2.基于PCNN的方法.其特點是圖像適用性弱，在紅外光與可見光的融合中有較好的效果，但無法有效融合多聚焦圖像.張軍英[10]等研究了基于脈沖耦合神經網絡的方法，該方法對目標的識別有局限性，只有保證圖像目標的標志性，人眼才能夠將其與背景分離.3.基于金字塔變換的方法.該方法在金字塔逆變換過程中，無法全面準確地復原出圖像信息，甚至會融合出質量極差的圖像.1980s，學者們開始研究基于金字塔多分辨率分解的圖像融合.在這段期間，Burt和Adelson[11]的成效比較顯著.但因為金字塔變換[12]本身存在冗余性，如果將它應用到圖像融合中，得到的融合圖像無法獲取到源圖像的細節信息.4.基于小波變換的方法[7].20世紀90年代以后，Mallat[13]參考了Burt和Adelson的成果，然后提出了Mallat小波變換快速算法，該算法能夠有效利用小波變換去處理圖像融合問題，同時速度變換，也有一定的現實意義.經變換后雖可細分出多個不同頻率子圖，但是它難以反映圖像基本元素的奇異性，還缺乏對稀疏表示的能力.5.多尺度變換[12,14]的方法.它不僅吸收了小波變換，同時可真正地實現各向異性（尺度和方向上），效果比較優異.Mallat[13]、Burt[15]、Adelson[11]、Marr[16]、Donoho[17]等都對多尺度分析進行了大量的研究，但他們研究的方向數有限，無法表示出圖像基本元素線或點，從而丟失信息，達不到視覺要求.于是，便有了我們所常見的高維度多尺度變換[5,14,18]，脊波變換、輪廓波變換、曲線波變換、非下采樣輪廓波變換和剪切波變換以及非下采樣剪切波變換等幾種.1998s，為增強邊緣信息的表達能力，EmmanuelJCandes[19]提出了脊波變換.之后EmmanuelJCandes[20]和DavidDonoho[21-22]又在1999年提出了基于瘠波變換的曲線波（Curvelet）變換[18].該變換的數字操作過程步驟較多，過于復雜.故在2002年，Candes[23]等人便提出可簡單的實現且容易理解的快速曲線波變換算法.但該變換在圖像融合過程中和Ridgelet變換聯系甚少，因此Candes和Donoho[24]提出了全新的曲線波變換算法，以增加和Ridgelet變換之間的關聯度.在此之后，于2002年，MNDo[25]和MartinVetterli[26]提出輪廓波（Contourle）變換.可是輪廓波變換的下采樣會導致圖像融合效果不佳，故A.L.Cunha和J.P.Zhou[27-28]以及M.N.Do[29]等便在Contourlet變換的基礎上對采樣過程等進行改進，提出非下采樣輪廓波（NSCT）變換.NSCT因自身結構和圖像方向表示欠佳，故計算費時，不利于實時處理.2007年，Guo[30]等就提出剪切波變換[31-33]，該變換能很好得運用于圖像處理領域.同樣地，在克服剪切波變換不足的基礎上，2008年，Easley[34]提出了非下采樣剪切波變換(NSST)[35]，相比于其他多尺度分解工具，NSST算法具有優良的多尺度多分解特性和更好的融合效果.與發達國家相比，國內研究者在多尺度變換的圖像融合技術中接觸時間少、研究時間短，但是這很快便引起國內專家學者們的關注與重視，紛紛投入到這方面的研究[36-37]，并取得豐碩的科研成果.苗娜等[10]研究了結合NSST和SLIC的多聚焦圖像融合算法，但該方案僅適用于多聚焦圖像之間的融合，在其他種類和特征的源圖像融合中效果并不是很理想；王志社[33]等研究了采用非下采樣剪切波變換以及稀疏表示的圖像融合方法，最終提升了視覺效果以及運算效率等；劉健[38]等展開了基于非下采樣剪切波變換結合隱馬爾可夫樹模型的算法研究，但是因為子帶內及子帶間的聯系較少，所以導致圖像信息缺失；鄧立暖和堯新峰[39]提出基于非下采樣剪切波變換的圖像融合方案，雖能基本實現圖像融合，但在一定程度上改變了源圖像的結構信息，無法在源圖像信息之間達到平衡；劉棟等[40]提出了非下采樣剪切波變換的圖像融合算法，雖然達到了良好的融合結果，但是計算耗時量卻很大……盡管現在已有不少學者提出了圖像融合方案，但是圖像在融合[10,38-40]之后，還是依然會存在融合效果差、邊緣信息有所缺失、源圖像的結構信息扭曲、融合適用性弱等問題.此外，再從圖像色彩上進行分析:一方面，若源圖像均為灰度圖像，那么融合圖像將無法獲取色彩；另一方面，若源圖像都為彩色圖像，需處理的圖像信息較多，融合方案必然復雜.這樣看來，可以將灰度圖像和彩色圖像進行融合，既可以獲取色彩，又可以將算法簡便化.所以，本文將灰度圖像和彩色圖像進行基于多尺度變換的融合，先在IHS空間將色彩信息從圖像總體信息中剝離，又選取NSST為多尺度分解工具，通過分解灰度信息得到高低頻分量.接下來，結合小波變換，對低頻分量再一次細化處理，又得到高低頻分量；高頻分量結合梯度計算，選取合適的高頻系數.最后，通過NSST逆變換，再展開IHS變換，實現圖像的最終融合.這樣一來，既提升圖像的融合效果，又盡量避免邊緣信息缺失的問題.（3）本文主要內容本文主要內容的是基于多尺度變換的灰度圖像和彩色圖像融合算法.首先，在亮度色度飽和度的空間上處理源圖像中的彩色圖像，提取出分量、分量、分量.其次，依次對彩色圖像的分量和灰度圖像進行非下采樣剪切波變換，分解出各自的一個低頻圖像和多個高頻圖像；對于低頻圖像，利用小波變換實現進一步細化處理，再把低頻分量又分解為一個低頻圖像和三個高頻圖像，低頻圖像再依據方差值取值（值大就取較大值，值相等時取兩者平方之和的開平方值），高頻圖像則依據模值取大方法，之后展開小波重構復原信息；至于多個高頻圖像，利用全局梯度的公式分別計算它們的梯度值，之后梯度值大時取較大值，但若相等則取兩者平方之和的開平方值的一半，以此獲取到多個融合后高頻分量.最后，將融合后低頻分量和高頻分量進行NSST逆變換得到亮度分量，然后接著把分量、和分量進行亮度色度飽和度逆變換，以此融合出彩色圖像.本文通過以上的理論和步驟實現灰度圖像和彩色圖像的融合，并且進行了多組圖像融合以及不同算法方案的對比實驗.不僅可從主觀視覺效果和客觀評價指標參數突出本文融合方案的優勢；而且該算法還增強了子帶以及子帶之間的聯系，保證了圖像信息的完整性，獲取到源圖像豐富的圖像信息，邊緣信息也得到較好保留，進而提升了融合效果；此外也增強了源圖像的適用性，醫學、遙感以及多聚焦的圖像都可融合.（4）本文章節分析各章主要內容如下：前言.首先，介紹了圖像融合的背景以及其研究意義.其次，歸納和總結了目前國內和國外圖像融合技術的發展情況與研究現況，染后提出了有關多尺度變換的圖形融合技術的自我想法和創新點.最后，概述了本文主要做的研究工作和論文結構安排.1基礎理論知識.主要內容為融合算法所運用的理論知識，以及圖像融合的質量評價手段.首先，介紹了基于多尺度變換的圖像融合方法的基本知識.其次，具體闡述了本文運用的多尺度變換基礎知識與方法，包括圖像的高頻和低頻分量、小波變換和非下采樣剪切波變換三個小部分；接下來，著重闡述彩色圖像融合中所使用的亮度色度飽和度（IHS）變換；最后，對圖像融合質量評價方法進行介紹，其中包括主觀評判法和客觀評判法兩個方法.2基于多尺度變換的圖像融合算法.首先，介紹了基于多尺度變換的高頻融合過程和低頻融合過程；其次，詳細描述本文圖像融合算法的具體流程；最后，研究圖像的融合結果，從三個不同圖像集（醫學、遙感、多聚交）具體分析，再通過圖像融合質量評價方法進一步得出圖像融合的分析結果.3結論與展望.對所有實驗結果進行了總結，通過實驗結果評價所提出的圖像融合算法，并指出下一步工作.

1基礎理論知識1.1基于多尺度變換的圖像融合圖像融合技術中，基于多尺度變換的方法能夠實現在多尺度空間上提取圖像信息，同時該方法會考慮到多尺度以及多方向上的因素，此外其能解決小波變換中的局限性，會根據源圖像的需求去改變基函數的支撐區間.圖1-2為基于多尺度變換的圖像融合方法的過程圖.圖1-1基于多尺度變換的圖像融合方法Fig.1-1ImageFusionmethodbasedonMulti-scaletransform由圖1-1可清楚地了解到多尺度變換的圖像融合方法.其具體有以下步驟：首先，從數量上來看的話，進行融合的源圖像應該是兩張及兩張以上；從色彩上來看的話，進行融合的源圖像既可以都是灰度圖像，也可以都是彩色圖像，甚至還可以是灰度圖像與彩色圖像的結合.其次，選取恰當合適的多尺度分解手段，常用的有瘠波變換、輪廓波變換、非下采樣輪廓波變換、剪切波變換、非下采樣剪切波變換等.在此之后，源圖像就會被拆分為多個不同的子帶系數，一般將這些系數概括為低頻子帶系數和高頻子帶系數，接下來便可依據圖像特征選取不同的融合規則進行組合，進而去融合相應的子帶圖像，傳統方案的有模值取大規則、平均取值規則、方差取值規則和局部信息規則等，當然近年來也產生了稀疏表示、梯度分析、字典學習等新規則.最后，進行多尺度重構，即將融合之后獲取到的融合系數展開系數重構，得到最終的融合圖像.1.2多尺度變換基礎理論1.2.1圖像的高頻和低頻分量空間頻率就是圖像的頻率，空間頻率也是亮度在單位長度中周期性變化的次數的表達.它是灰度變化強度的一個指標，是二維空間灰度值的梯度.在特殊情況下，如果只考慮圖像的一行或一列信息，那么該圖像就可以被視為一維空間中的信號.但在實際情況下，圖像是二維空間的信號，那么圖像的高低頻分量就是度量該二維空間中各個位置之間的空間頻率的參數值.圖像的高低頻分量圖詳細可見圖1-2.圖1-2圖像的高低頻分量Fig1-2Thehighandlowratecomponentofanimage（1）圖像的高頻分量在圖像中，灰度值發生強烈變化的部分就是高頻分量，也就是我們常說的邊緣或者輪廓等細節信息.如果我們現在去看一張有一行字的紙，那么我們首先會關注到紙上的這一行字，而不是關注其他部分.在這個例子中，白紙上的文字就是圖像中的高頻分量，足以說明人們在觀察圖像時，在低頻和高頻分量中，會更加關注高頻分量.（2）圖像的低頻分量按照之前對圖像中的高頻分量的敘述，對應的，灰度值度變換平緩的部分就是圖像中的低頻分量.但由于低頻分量只是圖像的大部分信息，缺少圖像的高頻分量，故而僅依據低頻分量時只可以模糊地看出圖像的大體信息.通過高頻分量中所舉的白紙文字的例子，便能知道白紙的圖像信息大多都是在低頻分量中展示的.這樣看來，若是想要綜合度量某一個圖像的信息，便可以首先依據其中的低頻分量.1.2.2小波變換的基礎知識圖像經小波變換之后，通常除少數系數外，大部分系數都為零或接近于零.這樣處理之后，就很有利于做圖像的壓縮編碼，從而使得在計算機上處理圖像更為容易.此外，小波變換[5]（WT）是一種不同的變換分析方法，它是一個迅速發展的數學領域的全新版塊.(1)連續小波變換的基本原理在一個很小范圍內產生的波便是小波.小波函數的具體數學定義為：函數為一平方可積函數，即具備條件，若其傅立葉變換滿足條件： 這時，則稱為一個基本小波函數或小波母函數，并稱上式為該小波函數的滿足式.之后再將基本小波函數進行伸縮處理和平移處理，便能夠得到對應的函數族： 則稱為具有尺度參數和平移參數相關的小波基函數.其中，為尺度參數(也稱為伸縮參數)，則為平移參數.需要特別注意的是，和都是連續變化的值.接著將任意空間的函數在小波基下展開，得到函數的連續小波變換CWT，其表達式為： (1-1)式中，為小波基函數的共軛函數.(2)離散小波變換的基本原理不論在哪一方面，理論分析和理論研究方法不同于現實中的應用.在計算機應用中，必須離散化連續小波，這里的離散化是針對連續連續信號、尺度參數和連續平移參數，而不是針對時間變量的，是通過對連續小波基函數進行離散化處理得到的.將尺度參數按照冪級數進行離散化，即取(其中為整數，，一般取)，對應的位移參數間隔取值為，從而可以得到離散小波函數：歸一化時間，可得到：總結下來的話，任意函數的離散小波變換為： (1-2)(3)小波重構在小波分解之后，圖形會分散為多個小分量，此后要想復原為總信息，還必須展開對應的逆變換，也就是利用信號的小波分解的系數還原出原始信號.通常情況下，這一過程被稱為小波逆變換，也常常被稱為小波重構[41].圖1-3是三層小波分解圖，在這一幅圖中為原始信息，表示近似信息，表示細節信息.由該三層小波分解圖就可見重構過程為：；；.接著，小波變換可運用在圖像融合技術中，圖1-4為一個運用實例.圖1-3小波分解圖Fig.1-3Waveletdecompositiongraph (a)原始圖像 (b)二次小波變換后的圖像圖1-4小波變換實例Fig1-4ExampleofWaveletTransform1.2.3非下采樣剪切波變換的基本知識非下采樣剪切波變換[38,46]在剪切波變換以及非下采樣輪廓波變換的基礎上提出的，它不僅吸收了小波理論的最新研究成果，而且在尺度分解工具上有了一定的改進.該變換是在傳統仿射系統的基礎上結合幾何和多尺度，剪切波中放射系統的表達式為 (1-3)其中：，放射系統中用基函數進行旋轉、剪切和平移變換，形成Parseval框架并構成了仿射系統.和兩個矩陣共同決定剪切波(Shearlet)的處理方式，為各向異性膨脹矩陣，其主要目的是為了控制變換的尺度，結合了多尺度；為剪切矩陣，其主要目的是為了變換的方向，結合了幾何變換.、和分別表示分解的尺度參數、方向參數和平移參數.和通常取，.同樣地，剪切波變換要是想運用于圖像處理中，也應該將其離散化，相關的表達式如下所示：此外，剪切波的Fourier變換可表示為NSST變換繼承了NSCT變換的部分內容：一、下采樣不再出現在其變換過程中；二、非下采樣金字塔分解(NSP)仍然保留.但丟棄了NSCT中的非下采樣方向濾波器組(NSDFB)，而是采用了特定的剪切濾波器(ShearFilter,SF).(1)非下采樣金字塔分解（NSP）NSP[45]取消了對低通濾波器和高通濾波器的下采樣過程，采樣過程中去掉下采樣，然后再對上一層的低頻和高頻圖像進行濾波分別得到之后的低頻和高頻圖像.首先，高通和低通濾波器需要滿足公式 (1-4)其中，和分別為低通分解濾波器和低通重建濾波器，和分別為高通分解濾波器和高通重建濾波器.圖像經過NSP分解后形成大小相同的低頻和高頻圖像，為捕獲圖像中的奇異點，低頻圖像反復進行次NSP分解，最終形成大小相同的1個低頻圖像和個高頻圖像.圖1-5是NSP一級分解重建示意圖，頻域劃分示意圖如圖1-6所示.圖1-5NSP1級分解重建示意圖Fig1-5FirstClassDecompositionandReconstructionofNSP圖1-6頻域劃分示意圖Figure1-6DiagramofFrequencyDomainDivision(2)剪切濾波器(shearfilter,SF)剪切濾波器[6,45]實現了多方向分解子帶.一般情況下，剪切波變換(Shearlet)中的SF是在偽極化網格中來進行的，仍然包含下采樣等操作；而非下采樣剪切波變換過程中，為了避免因為下采樣環節導致出現圖像失真的現象，運用了二維卷積運算，將其從偽極化網格系統中映射到笛卡爾坐標系，保證了圖像的平移不變性，并有效避免了吉布斯現象，避免圖像中因突變信息而到圖像產生不連續信息.圖1-7和圖1-8分別為NSST的分解過程圖和NSST的頻域支撐基.圖1-7NSST的分解過程圖Fig.1-7NSSTdecompositionprocessdiagram圖1-8NSST的頻域支撐基圖Fig.1-8NSSTratedomainsupportbasemap1.3亮度色度飽和度（IHS）變換RGB空間是生活中最常用的一個模型，其基礎顏色為是紅、綠、藍，之后三種顏色按不同比例混合得到最終色彩.RGB顏色空間最大的優點就是便于分析與處理.但是缺點很多：一、三原色的相關度極強，任意顏色必定影響最終顏色.二、觀測點側重部分不同，同一顏色會有較大不同.因此，如果使用RGB空間處理圖像，就會造成合成圖像的彩色信息丟失、清晰度低、圖像視覺效果差、畫面的分辨率降低或變形.所以，可以利用線性變換或非線性變換，則可以從RGB顏色空間推導出其他的顏色特征空間[47].這樣一來，便有不少學者提出了亮度色度飽和度空間.亮度色度飽和度變換是一種RGB顏色轉換系統，通常在計算機上量化顏色時使用，可以有效地解決RGB空間在計算機應用中的諸多缺點.基于在亮度色度飽和度變換空間的圖像融合算法應用的IHS[48-50]模型是由Harrison和Jupp[51]在1990年提出的.其中，IHS分別為亮度、色度、飽和度.由RGB空間到IHS色彩空間的轉換，常用的有坐標變換法和幾何推導法以及標準模型法等.其中幾何推導法[6]最為經典且具有較高的分辨率和逆向還原準確的特性，所以本文采用該方法進行亮度色度飽和度變換.具體公式如下： (1-5) (1-6) (1-7) (1-8)1.4圖像融合質量評價方法圖像融合后，需要有相應的方法去測試圖像融合的質量.這樣一來，建立統一的圖像融合質量評價標準是圖像融合技術研究過程中的必不可少的一個步驟.總的來說，圖像融合質量評價方法主要有兩種：主觀評價法，客觀評價法.主觀評判法的主要評判者是人.簡而言之，就是依靠人評價融合圖像效果.一般情況下，我們會召集許多人，然后讓他們對融合后的同一幅圖進行觀察，此后做出等級評價.然而，人是有情感的，無法做到絕對的公正，故而這種方法存在著很多主觀的原因，導致在評價結果的過程中必然會存在著其他因素，導致等級評價產生偏差.客觀評判法的主要評判原則是一些公式等依據性條件，它不同于主觀評判法，是絕對客觀的，不摻雜主觀人為因素.利用圖像表征圖像性質的各種參數值進行處理給出相應評價，是圖像融合圖像質量評價的重要手段.在前提情況下，先設圖像、圖像的大小為，、分別為圖像、圖像像素點的灰度值.那么，各評價指標[5,12,52,53]的定義及表達式如下：1)均值.圖像的均值能反映一幅圖像的平均亮度.其表達式為 2)標準差.的取值越大，融合后圖像的灰度級別就越多，層次就越豐富.其表達式為 3)平均梯度.平均梯度在一定程度上可以改進圖像質量的程度，其值的大小能夠反映出圖像細節及紋理特征的細微變化程度，所以能較好地體現圖像的清晰程度.其表達式為 (1-9)其中，、分別為像元在、方向的一階差分.4)熵.熵值反映融合圖像平均信息量的多少，熵值越大，信息量越豐富.其表達式為 其中，是圖像中灰度值為的概率，是圖像中的灰度級數.5)空間頻率.空間頻率的值代表著圖像空間里的總體活躍程度高低.數值越大，就說明融合后圖像的效果更好.其表達式為 (1-10)其中，、分別為像元在、方向的一階差分.6)交叉熵.交叉熵用來度量兩幅圖像間的差異，交叉熵越小融合效果越好.其表達式為 其中，、分別表示R、F圖像中灰度值為的像素個數與總像素量之比.7)互信息.對于一幅圖像，互信息值越大,說明圖形包含的信息更加豐富.其表達式為 其中， 需要注意的是，、分別為源圖像和的歸一化直方閣，為融合圖像的歸一化直方圖，、、代表灰度值，収值范圍是.此外，圖像和或的聯合直方圖表示為或，它們的表達式分別為 8)清晰度.清晰度表征圖像對微小細節反差表達的能力，可用來評價圖像的清晰程度.一般情況下，圖像的清晰度值越大，圖像融合效果就越好.其表達式為 (1-11)9)邊緣信息評價因子.值越大，表明源圖像的邊緣細節信息得到了更好的保持.其表達式為 其中，邊緣評價因子中的、表示圖像a、b的某些顯著特征，如方差、邊緣信息；、則分別代表源圖像a、b分別融合圖像f的協方差；那么、、分別表示a、b、f的均值；至于、、分別為、、f的方差.10)邊緣強度ES.ES值越大，表明源圖像的邊緣細節經圖像融合后未發生較大的缺失.其表達式為 (1-12)11)扭曲程度.扭曲程度較好地突出了融合之后圖像的光譜失真程度.其值越大，說明融合圖像在光譜信息上失真度越大.其表達式為

2基于多尺度變換的圖像融合算法本文主要研究的是基于多尺度變換的灰度和彩色圖像的融合算法，這是一個改進算法，主要結合了非下采樣剪切波變換、小波變換和梯度計算.實際上，針對非下采樣剪切波變換、梯度計算以及小波變換，許多的學者都已展開了一系列的研究，且卓有成效.比如他們均是基于非下采樣剪切波進行多尺度分解，但是在低頻分量時則采用梯度、PCNN或模值取大等方法處理，高頻分量則采用小波變換、圖像特征、平均取值法等方法處理.其中，與本文最為接近的方案是:利用非下采樣輪廓波變換，再結合小波變換和梯度計算方法，但是該方案的融合圖像質量差，未準確考慮灰度值巨變的情況，同時某些情況下會導致邊緣圖像信息丟失，此外源圖像適應性差.本文算法卻是與眾不同的，把非下采樣剪切波作為分解手段，之后再結合高頻梯度計算和低頻小波變換，實際上就是一種新的融合算法.本文方案的具體實現如下：選取NSST為多尺度分解工具，同時結合亮度色度飽和度變換，將源圖像分解出多個高頻和一個低頻圖像.針對低頻圖像，采用小波變換進行處理，經該變換后再次將源圖像分解為高低頻分量.當中的低頻子帶依據方差值的大小取值，方差值大時系數取較大值，方差值相等時系數取兩者平方之和的開平方值；而高頻子帶則使用模值取大（系數的絕對值大的話就取大值）的原則處理而.針對多個高頻圖像，采用梯度計算（全局梯度）的方法依次進行處理，再根據梯度值的大小和相應取值原則去選取合適系數，相應取值原則為：梯度值大時取較大值，但若相等則取兩者平方之和的開平方值的一半.最后，展開非下采樣剪切波逆變換和亮度色度飽和度逆變換復原圖像系數，以此獲取融合圖像.圖2-1為本文圖像融合方法流程圖.由該流程圖可以大致看出這種新算法的流程，圖中標藍部分是本章研究的重要內容，也是算法改進和方案優異性提高的主要部分.圖2-1本文圖像融合方法流程圖Fig2-1Flowchartofimagefusionmethodinthispaper2.1基于多尺度變換的高低頻融合過程2.1.1低頻融合過程(1)原理本文對圖像進行非下采樣剪切波變換，得到了多個高頻和一個低頻分量.傳統的低頻融合規則[54]只考慮視覺效果等，忽視了細節特征.如模值取大法和梯度加權法以及空間頻率加權法等方法，雖然基本能夠較好保留源圖像的輪廓信息，但最終的融合效果卻不盡如意.實際上，圖像中的低頻系數中含有較多的細節信息，這就要求我們更好得去表達圖像的低頻子圖.在小波變換[56]中，采用該變換處理低頻融合圖像，將小波變換分解出來的高頻和低頻系數進行不同的組合，進一步去處理源圖像的低頻融合圖像，可以更好且更深地處理圖像的大部分信息，從而得到質量更高的融合圖像.王健[57]等研究了小波方法與非下采樣shear變換相結合的圖像融合算法，但是該算法只適用于部分圖像的融合，同時分解效果也不佳.所以，本文提出了小波變換結合NSST變換的圖像融合算法，以此來提升圖像融合適應性和多尺度分解能力.在本文中，先對源圖像的低頻圖像進行小波變換，分解出高頻分量和低頻分量，之后再通過各自的特定取值方法進行處理.其中，高頻分量通過模值取大方法去融合，低頻分量則依據方差值大小取值，相應取值原則為：方差值大時取較大值，方差值相等時取兩者平方之和的開平方值，得出融合后的新高低頻分量，最后再展開小波逆變換，得到最終的低頻分量.圖2-2[58]為小波變換步驟圖.圖2-2小波變換步驟圖Fig2-2Wavelettransformstepdiagram由圖2-2，可知小波變換可以將低頻圖像再次分解為低頻圖像和高頻圖像，之后又可以對高低頻圖像分別進行細化處理，從而使最終融合圖像包含更多源圖像的具體信息，提升對整副圖像綜合度量.(2)融合過程具體步驟輸入：圖像和圖像的低頻圖像和，分解層數輸出：低頻融合圖像步驟一根據源圖像的特征，選取合適長度以及恰當階數的濾波器，再利用公式(1-1)、公式(1-2)和小波變換的基本原理，分別對圖像的低頻圖像和圖像的低頻圖像進行層小波分解；以此得到和的低頻子圖、，高頻圖像以及.步驟二針對步驟一得到的和的低頻子圖、，先計算出、的方差值和，再利用特定原則獲取融合分量，其中的特定原則為步驟三針對步驟一得到的和的高頻分量以及，結合模值取大原則，最終得到融合系數，使用的具體模值取大原則如下：步驟四利用步驟一中選取的濾波器以及步驟二與步驟三中的和的融合系數、，同時依據小波逆變換的原理，展開小波重構，最終得到低頻融合圖像同時將其輸出.2.1.2高頻融合過程(1)原理目前常用的高頻系數融合規則[59]包括模值取大、能量取值和方差計算等，但它們的效果都很不佳.有的無法排除孤立噪聲，從而導致選擇出不恰當的系數；而有的則只考慮了局部范圍的圖像，未做出整體考慮，無法都顧及到每個像素所包含的獨立信息.全局梯度的方法相較于傳統方法，一方面可以有效保留圖像的大致信息，另一方面也能夠全面得去考慮圖像多個子圖信息.故而，本文對于多個高頻子帶采用梯度計算[60]（全局梯度）的方法展開處理，該方法顧及到每一范圍的子帶都，未忽略任何一個像素中所包含的獨立信息，真正地做到圖像的整體考慮，此外也能夠更加細致仔細得獲取到源圖像中的信息，完整得表達圖像.在數學領域中，梯度是表示某一函數在該點的方向導數沿著該方向取得最大值.假設二元函數在平面區域D上具有一階連續偏導數，則對于函數上的每一個點都有一個向量那么這個向量就是二元函數在點的梯度值，符號記作或，其中稱為（二維的）向量\t"/item/%E6%A2%AF%E5%BA%A6/_blank"微分算子或Nabla算子.同樣地，圖像也可以看成是一個二維函數，其中是離散的.本文計算圖像梯度時，用、分別表示該圖像在和方向的梯度，具體表達式如下： (2-1) (2-2)之后為讓梯度由一個值表示，便采用了以下公式，具體如下： (2-3)這樣一來，就可用一個值方便地表示圖像某個像素點的梯度值.之后再進行梯度值比較，依據特定原則選取圖像的系數，得到最終的高頻融合圖像.(2)融合過程具體步驟輸入：圖像高頻圖像和圖像高頻圖像輸出：高頻融合圖像.步驟一采用公式(2-1)、公式(2-2)和公式(2-3)，依次去計算源圖像的高頻圖像和的梯度值，然后分別將它們記為和.步驟二依據步驟一得到的梯度值和，然后再利用特定的取值原則，依次去選取高頻圖像和的系數.特定的取值的具體原則如下：步驟三根據步驟二得到最終的高頻融合圖像，并輸出該融合圖像.2.2圖像融合算法具體流程輸入：彩色圖像和灰度圖像輸出：融合圖像步驟一根據公式(1-5)、公式(1-6)、公式(1-7)和公式(1-8)，對彩色圖像展開亮度色度飽和度變換，將彩色圖像分解為三個分量，它們分別是、、分量.步驟二根據公式(1-3)和公式(1-4)以及非下采樣剪切波變換的原理，再選取合適的金字塔分解濾波器和參數恰當的剪切波濾波器，分別去對彩色圖像中的分量和灰度圖像進行非下采樣剪切波變換變換，得到各自所對應的高低頻系數元胞數組和.步驟三利用小波變換的方法處理步驟二中高低頻系數元胞數組和中的低頻分量和，得到融合分量；采用梯度計算（全局梯度）的方法去處理和中的高頻分量和，得到融合分量.步驟四把低頻分量和高頻分量結合，得到全新的高低頻系數；再對進行NSST逆變換，得一個到分量.步驟五將和彩色圖像中的未使用過的、分量一起展開亮度色度飽和度逆變換，得到最終的融合圖像并將其輸出.2.3圖像融合結果及分析本文在MATLAB的編碼環境下，按照具體的圖像融合方案編寫算法運行程序，詳細可見附錄A.其中，代碼中的NSCT變換、NSST變換以及小波變換的濾波器和分解尺度因為源圖像的特征而有所不同，詳細參數信息可見下文中的各圖像實驗結果與分析中（2.3.1、2.3.2、2.3.3）.本文算法定義為SWG（基于非下采樣剪切波變換，同時低頻結合小波變換，高頻結合梯度計算），為檢驗本文所提出算法的圖像融合質量的好與壞，將本文方法與另外4種融合方法進行了對比.基于非下采樣輪廓波分解，并結合平均取值法融合高頻和低頻系數（CAA）；基于非下采樣剪切波分解，也結合平均取值法融合高頻和低頻系數（SAA）；基于非下采樣剪切波分解，但低頻使用小波變換，高頻使用平均取值法（SWA）；基于非下采樣剪切波分解，低頻使用平均取值法小波變換，高頻則使用梯度計算法（SAG）.為了驗證本文融合方案能夠適用于不同種類的圖像，故又選取了三組不同類型的源圖像展開圖像實驗.它們依次為醫學圖像（“Medical”，256256）、遙感圖像（“RemoteSensing”，256256）以及多聚焦圖像（“MultiFocus”，512512）.評估融合方法性能的重要原則可見1.4，本實驗一方面利用主觀評價（人眼觀測圖像得出分析），另一方面又用客觀評價作為輔助來驗證算法的可行性.選取的四個指標分別為圖像清晰度（ImageDefinition，ID）、平均梯度(AverageGradient，AG)、空間頻率(SpatialFrequency,SF)、邊緣強度(EdgeStrength，ES).ID彰顯了圖像對微小細節反差的表達能力，AG則體現圖像中的微小細節反差和紋理變化特征，SF表示圖像中的空間像素總體活躍度，ES突出圖像的邊緣細節.它們具體實現可根據本文1.4中的公式(1-9)、公式(1-10)、公式(1-11)、公式(1-12).對于融合圖像來說，這些評價指標都是參數值越大，表明圖像融合得越好.2.3.1醫學圖像（“Medical”）實驗結果及分析在圖像集中，源圖像1是體現人體組織血流和代謝功能的計算機斷層成像彩色圖像，源圖像2是對軟組織和血管清晰的核磁共振灰度圖像.代碼中相關變換的參數信息為:方法CAA的NSCT變換，有金字塔濾波器maxflat和方向濾波器dmaxflat7，分解尺度為4（分解方向數）.方法SAA、SWA、SAG、SWG中的NSST變換，有金字塔濾波器maxflat和方向濾波器shear_parameters（其dcomp為［3,3,3,3］，dsize為［200,200,200,200］），分解尺度為5（分解方向數）.方法SWA和SWG中的小波變換，小波基函數為db4，分解層數為4.運行代碼后，可得到相應的融合結果圖和評價指標參數表.圖2-3是該圖像集的實驗效果圖，最優方法的融合圖像外框呈紅色以便于觀察.表1-1則該圖像集的評價指標參數表，最優指標由粗體標示同樣便于觀察.由圖2-3，可以看出一、通過NSCT算法基本能將源圖像進行融合.二、NSST相較于NSCT的話，效果較好，左側的邊緣信息保留得比較好.三、NSST+小波變換當然更好，整個外部和內部的圖像信息都更加豐富.四、經NSST+梯度計算處理之后，邊緣信息表達得更加清晰，尤其是內部信息.五、本文方法不僅在顏色上，還是在整體都更好，清晰度也有很大提升，能夠有效得融合醫學圖像.再由表1-1，將本文方法SWG與CAA、SAA、SWA和SAG相比，四個指標的參數值都增大，細節信息得到較好保留，信息突變部分也未造成信息缺失，故而本文方法SWG能將計算機斷層成像彩色圖像和核磁共振灰度圖像完美融合.(a)源圖像1(b)源圖像2(c)CAA(d)SAA(e)SWA(f)SAG(g)SWG圖2-3“Medical”實驗效果圖Fig2-3"Medical"experimentaleffectdiagram表1-1“Medical”評價指標參數Table1-1"Medical"evaluationindexparametersMethod圖像清晰度ID平均梯度AG空間頻率SF邊緣強度ESCAA7.11755.859626.858160.3358SAA7.22146.000927.558161.9728SWA8.0756.903929.912572.072SAG9.76417.815336.48279.3271SWG10.11868.2937.298584.98192.3.2遙感圖像（“RemoteSensing”）實驗結果及分析在“RemoteSensing”的圖像集中，源圖像1是城市部分景象的多光譜彩色圖像，源圖像2是同一景象的全色灰度圖像.代碼中相關變換的具體參數信息為:一、方法CAA的非下采樣輪廓波變換，濾波器有金字塔濾波器maxflat和輪廓波方向濾波器dmaxflat7，分解尺度為4（分解方向數）.二、方法SAA、SWA、SAG、SWG中的非下采樣剪切波變換，濾波器有金字塔濾波器maxflat和剪切波方向濾波器shear_parameters（其dcomp為［3,3,3,3］，dsize為［200,200,200,200］），分解尺度為5（分解方向數）.三、方法SWA以及SWG中的小波變換，小波基函數為coif4，分解的層數為5.同樣地，運行代碼后，可得到相應的融合結果圖和評價指標參數表.圖2-4是該圖像集的實驗效果圖，最優方法的融合圖像外框呈紅色.表1-2則該圖像集的評價指標參數表，最優指標由粗體標示.由圖2-4，可以看出一、源圖像經NSCT變換后能夠有效進行融合，但是效果不佳，比較模糊.二、NSST變換后，清晰度有所提升，左側和上側的邊緣信息更加豐富.三、NSST+小波變換效果更佳，上下左右的圖像信息都更加豐富.四、經NSST+梯度計算處理后，圖像整體的清晰度增強，尤其是高橋附近的圖像信息.五、本文方法，使圖像更亮，小的建筑物都能夠清晰得表達出來，遙感圖像能夠有效融合.由表1-2可值，最終圖像的清晰度ID值增大，對微小細節反差表達的能力得到了提升；平均梯度AG值也增大，更加突出圖像細節及紋理特征的細微變化程度；空間頻率SF也一樣，參數變大，這說明融合圖像空間里的總體活躍程度有所提高；邊緣強度ES同樣變大，使圖像的邊緣細節變得更加豐富.表1-2“RemoteSensing”的評價指標參數Table1-1Evaluationindexparametersof"RemoteSensing"Method圖像清晰度ID平均梯度AG空間頻率SF邊緣強度ESCAA10.54768.297218.641181.9758SAA10.6198.55318.987685.2959SWA10.75888.693419.168586.9863SAG19.327215.127834.8053147.336SWG19.377215.186734.8588148.1557(a)源圖像1(b)源圖像2(c)CAA(d)SAA(e)SWA(f)SAG(g)SWG圖2-4“RemoteSensing”的實驗效果圖Fig2-4ExperimentaleffectDiagramof"RemoteSensing"2.3.3多聚焦圖像（“MultiFocus”）實驗結果及分析在“MultiFocus”的圖像集中，源圖像都是兩個杯子圖，源圖像1是左側杯子模糊但右側杯子清晰的彩色圖像，源圖像2則是左側杯子清晰但右側杯子模糊地灰度圖像.代碼中相關變換的具體參數信息為:一、方法CAA的非下采樣輪廓波變換，濾波器有金字塔濾波器maxflat和輪廓波方向濾波器dmaxflat7，分解尺度為4（分解方向數）.二、方法SAA、SWA、SAG、SWG中的非下采樣剪切波變換，濾波器有金字塔濾波器maxflat和剪切波方向濾波器shear_parameters（其dcomp為［3,