圖像融合圖像拼接1）綜述圖像融合的方法；2) 選擇合適的目標（可以使風景、建筑、汽車等），自行用數碼相機采集子圖像；3）將子圖像轉換為灰度圖像;4）設計圖像算法并編寫程序，實現兩幅圖像的拼接；提示：1）拍攝的左右子圖像，必須是在相同距離、同等光照下拍攝的正面圖像；2）要有一個明確的標識出現在左右圖像中。3）可以先用windows畫圖工具生成簡單圖像進行算法測試，然后在用真實圖像。1 引言12 圖像融合拼接的方法22.1 圖像配準32.2 圖像處理32.2.1中值濾波法消除拼接縫42.2.2利用小波變換的方法消除拼接縫42.2.3利用加權平滑的方法消除拼接縫53 圖像拼接算法5參考文獻5附件：程序6圖像融合圖像拼接摘 要：選擇圖像拼接就是想兩張圖像拼接在一起是別人看不出來是兩張圖片，能完美的將兩張圖片拼接在一起。圖像拼接技術可以解決由于相機等成像儀器的視角和大小的限制，不能產生很大圖片的問題。所謂 “圖像拼接”就是將兩幅或者兩幅以上相鄰間具有部分重疊的圖像進行無縫拼接， 生成一張具有較寬視角的高分辨率圖像或者360度視角的全景的技術，涉及到計算機視覺，計算機圖形學，圖像處理以及一些數學工具等。該技術為圖像降運動物體去除，模糊消除噪，視場擴展，空間解析的提高，和動態范圍增強提供了可能性。對圖像拼接的兩個主要過程：圖像配準和圖像融合分別進行了詳細介紹。圖像配準是圖像拼接的核心技術，本文還對現有的圖像配準方法進行歸類總結，對每個配準算法進行優缺點描述。對目前現有以及常用的圖像融合方法也進行了詳細的介紹。最后提出了圖像拼接技術不足。關鍵詞：圖像拼接 圖像配準 圖像融合1 引言這個學期我們學習了圖像處理這門課程，這么課程主要是講解了對于圖片的處理以及一下如何處理圖片的方法。圖像拼接現在在我們的生活中越來越多的出現了，我們可以看到許多圖像都是有圖像融合、圖像拼接技術做出來了。我們有時候會遇見一些狀況，我們出去玩的時候由于地方太小了，我們的照相機不能找到全部的圖片，現在我們學習了圖像拼接技術。可以將我們需要照相的東西照成兩份，然后在通過拼接技術來完成一副完好的圖像這個就是我們李忠學歷這個技術的需要。現在圖像拼接技術最早是用于航空航天領域，現在已經廣泛的應用于數字視頻、模擬現實技術以及圖像分析領域。圖像拼接的前提條件是相鄰圖像之間有一部分在邏輯上是相同的, 即必須有一定的重合。拼接的主要工作就是確定相鄰圖像在寬度,高度上的重疊程度去掉重疊, 進行平滑連接得到全景圖像。這就是圖像融合圖像拼接技術。下面是一張經過拼接的圖片，經過三張粉筆拍出來的照片經過拼接處理之后得到的。上面那一幅圖就是有三張圖片拼接而成的一張圖片，我們不會以為他是拼接出來的。因為圖片拼接技術現在已經很成熟了，我們可以處理各種各樣的圖片。完成我們需要的圖片。但是我們只是可以做到肉眼上的看不到圖像拼接的縫隙，但是在計算機上還是可以驗證出來圖片是不是被拼接的。2 圖像融合拼接的方法圖像拼接的前提條件是相鄰圖像之間有一部分在邏輯上是相同的，即必須有一定的重合。拼接的只要工作就是確定相鄰圖像在寬度、高度上的重疊程度，去掉重疊，進行拼花連接得到全景圖像，圖像拼接的一般步驟：（1）借助攝像設備拍攝場景圖像序列；（2）講所有幀圖像數字化，以便于計算機進行處理；（3）對于圖像進幾何校正（非必須），是相同的場景在圖像重疊所在的圖像具有相同的形狀個一直的空間相對位置；（4）確定配準算法，用算法對圖像進行配準定位；（5）進行圖像融合，消除拼接的接縫；（6）輸出完整圖像。其中圖像拼接的一般過程又可以歸納為主要是圖像配準和圖像融合兩個步驟。當然對于一些幾何嚴重變形的圖像需要在配準之前進行圖像幾何校正。其中圖像配準是圖像拼接的核心。12.1 圖像配準所謂的圖像配準就是把同一場景在不同時刻，不同視角，不同傳感器下拍攝的圖片進行空間上的對齊與灰度上的融合。圖像配準的依據是圖像之間的相似性。由圖像的獲取方式，將配準問題大致的分為四類：(1)不同的觀察點獲取的圖像之間的配準(多觀察點配準)，一般選用透視變換的方法，主要應用在計算機視覺中；(2)不同的時間獲取的圖像之間的配準(時間序列配準)。方法特點是需要容忍圖像的差異和形變對配準造成的影響，(3)不同傳感器獲取的圖像之間的配準(多模態配準)。(4)場景到模型的配準(模板匹配)。圖像配準理論上可以定義為：兩幅待配準的圖像。2.2 圖像處理圖像融合的主要問題是如何使拼接的兩幅圖像在拼接之后不出現明顯的拼接接縫,在亮度上沒有明顯的差別。目前圖像融合的方法很多,主要的方法有三種:重疊區域圖像數據 的拼接合并時只使用一次。重疊區域圖像數據在合并時簡單取平均；重疊區域圖像數據在進行數據融合時采用淡入淡出的思想,使拼接后的圖像過渡區平滑自然。經典的算量大, 精度低.塊匹配,計算量大,精度高。網格匹配，很難選擇好初始步長。(3)基于特征的方 法可分為四個步驟:特征提取,征匹配,換模型評估,像插值和重采樣,常特變圖用的插值方法有三種: 最近鄰插值,樣條插值,和雙線性插值。確定了圖像配準的方法,圖像拼接的方法也 就隨之而確定出來了,目前基于特征的圖像拼接方法最為常見。把基于像素的方法和基于特征的方法相結合起來是一個行之有效的方法。 圖1 拼接前圖 圖2拼接前圖圖3拼接后完成圖圖4拼接前圖將圖3和圖4在進行一次拼接得到圖5 第二次拼接的完成圖圖6 拼接前圖在通過拼接圖5與圖6得到圖7完成拼接圖7 經過三次拼接所得成品圖2.2.1中值濾波法消除拼接縫中值濾波法是對接縫附近的區域進行中值濾波。對與周圍灰度值差比較大的象素取與周圍象素接近的值，從而消除光強的不連續性。中值濾波器處理接縫附近的狹長地帶。該方法速度快，但質量一般。平滑的結果會使圖像的分辨率下降，使圖像細節分辨不出，產生圖像模糊。2.2.2利用小波變換的方法消除拼接縫小波變換方法也是目前比較常用的一種方法，他充分利用小波變換的多分辨率特性，很好地解決了拼接圖像的接縫問題。其原理為：由于小波變換具有帶通濾波器的性質，在不同尺度下的小波變換分量，實際上占有一定的頻寬，尺度j 越大，該分量的頻率越高，因此每一個小波分量所具有的頻寬不大，把要拼接的兩幅圖像先按小波分解的方法將他們分解成不同頻率的小波分量，只要分解得足夠細，小波分量的頻寬就能足夠小。然后在不同尺度下，選取不同的拼接寬度，把2 個圖像按不同尺度下的小波分量先拼接下來，然后再用恢復程序，恢復到整個圖像。這樣得到的圖像可以很好地兼顧清晰度和光滑度2 個方面的要求。但是，小波變換也存在缺點，如小波變換的算法比較復雜，需要在小波變換域內先進行拼接處理，在計算過程中涉及到大量的浮點運算和邊界處理問題，對實際生產中的大容量圖像進行處理時計算機內存開銷很大，且處理時間較長，拼接速度慢。2.2.3利用加權平滑的方法消除拼接縫在實際中，使用較多的方法還有對重疊區域進行加權平滑的方法。這種方法的思路是：圖像重疊區域中象素點的灰度值Pixel 由兩幅圖像中對應點的灰度值LPixel 和RPixel 加權平均得到，即：P ixel 一k X LPixel + ( l 一k ) X RPixel 其中：k 是漸變因子，滿足條件：o k 1 ，在重疊區域中，按照從左圖像到右圖像的方向，k 由1 漸變至0 ，由此實現了在重疊區域中由左邊重疊區慢慢過渡到右邊重疊區的平滑拼接。23 圖像拼接算法圖像拼接中的關鍵步驟是圖像配準,圖像拼接的算法在很大程度上也是由圖像配準的方法決定的。歸納目前圖像配準的文獻。可以把圖像配準方法分為3類:(1)基于頻域的(相位相關度方法)Fourier變換位移理論:設f2(x,y)為 f1(x,y)在 x 和 y 方向分別平移 x0 和y0 后的圖像, 即: f2(x,y)=f1(x- x0,y- y0).若 f1 和 f2 對應的傅立葉變換分別為 F1(u,v)和 F2(u,v)則它們之間有如下 關 系: F2(u,v)=F1(u,v)e - j(ux +vy ), 則 f1(x,y)和 f2(x,y)的互功率譜其 中 F*2 表示 F2 的復共軛。進行傅立葉逆變換, 在(x,y)空間的 (x0,y0)處將形成一個單位脈沖函數,脈沖位置即為兩幅被配準圖像間的相對平移量和。傅立葉變換處理具有平移旋轉的圖像一般是先進行旋轉,再進行平移。該方法具有簡單而精確的特點,后來成為了最有前途的圖像配準算法之一,但是相位相關度法一般需要比較大的重疊比例(通常要求配準圖像之間有50% 的重疊比例),如果重 疊比例較小,則容易造成平移矢量的錯誤估計,從而較難實現圖像的配準。(2)基于像素灰度級的方法:一般是取出待匹配圖像的重疊部分有特征的像素,通過評價函數給出待配準圖像與基準圖像之間的相似度值。常用的評價函數有互相關。如果兩幅圖像完全匹配則，互相關系數達到最大值。還有利用兩幅圖像灰度差值平方和最小的評價函，使得根E 取得最小值的像素區域位置,即為最佳匹配位置。3參考文獻1中 文 核 心 期 刊 微 計 算 機 信 息 管 控 一 體 化 )2006 年 第 22 卷 第 10-3 期 2現場總線技術應用 200 例-256-3賀彬，王國宇。不同視點圖像拼接算法附件：程序源程序：#include stdafx.h#include Zoom.h#include cdib.h#include #include LPBYTE WINAPI Zoom(CDib* pDibBase , LONG Begin, LONG End)/ 基準圖象的寬度和高度LONG lWidth, lHeight;lWidth = pDibBase-m_lpBMIH-biWidth;lHeight= pDibBase-m_lpBMIH-biHeight;/ 計算結果圖象的存儲大小尺寸CSize sizeBase;sizeBase = pDibBase-GetDibSaveDim();/ 截圖后圖像的寬度和高度LONGlNewWidth;LONGlNewHeight;/ 截圖后的圖象CDib* m_pDibResult; /如果輸入的Begin 小于0 則if(BeginlWidth)End=lWidth;/ 計算截圖后的圖像實際寬度/ 此處直接加0.5是由于強制類型轉換時不四舍五入，而是直接截去小數部分lNewWidth = (LONG) (End-Begin);/ 計算圖像高度lNewHeight = lHeight;/ 將此圖象用CDib類封裝m_pDibResult = new CDib(CSize(lNewWidth,lNewHeight), 8); / 計算結果圖象的存儲大小尺寸CSize sizeSaveResult;sizeSaveResult = m_pDibResult-GetDibSaveDim();/ 拷貝調色板memcpy(m_pDibResult-m_lpvColorTable, pDibBase-m_lpvColorTable, m_pDibResult-m_nColorTableEntries*sizeof(RGBQUAD);/ 應用調色板m_pDibResult-MakePalette();/ 指向BITMAPINFO結構的指針（Win3.0）LPBITMAPINFOHEADER lpbmi;/ 指向BITMAPCOREINFO結構的指針LPBITMAPCOREHEADER lpbmc;/ 循環變量（象素在新DIB中的坐標）LONGi;LONGj;/ 象素在源DIB中的坐標LONGi0;LONGj0;/ 獲取指針lpbmi = (LPBITMAPINFOHEADER)m_pDibResult-m_lpImage;lpbmc = (LPBITMAPCOREHEADER)m_pDibResult-m_lpImage;/ 對于其它格式的DIBlpbmc-bcWidth = (unsigned short) lNewWidth;lpbmc-bcHeight = (unsigned short) lNewHeight; / 分配內存給合并后的圖象 LPBYTE lpImgResult; lpImgResult = (LPBYTE)new unsigned charsizeSaveResult.cx * sizeSaveResult.cy; / 分配內存給合并后的圖象 LPBYTE lpBase; lpBase = (LPBYTE)new unsigned charsizeBase.cx * sizeBase.cy; /指向源圖象的指針 LPBYTE lpImage ; lpImage = pDibBase-m_lpImage;/ 針對圖像每行進行操作for(i = 0; i l