1、圖像匹配與拼接 分匹配和拼接兩部分一、匹配    當然匹配的方法，有sift，surf什么的，這里主要就介紹一下我自己的方法啦！    特征點提取是必須的，不然搜索范圍太大哇！并且可能不可靠，所以特征點提取是必須的。什么點適合做特征點呢？這方面的論文很多啦，主要還是看你用什么方法匹配了，如果是用互相關作為相似性準則的話，那自相關系數隨各個方向變化大的點就適合作特征點了，當然還要考慮穩定性，即特征點應該不太受光照、噪聲、縮放、旋轉等的影響，這樣的才是好的特征點。當然，如果確定了應用壞境，不一定要滿足不受上四個因素影響的，比如平行的雙目匹配、全景圖

2、的匹配等，具體問題具體分析吧！ 角點特征是個人比較喜歡的特征。這里我自己定義了一種局部特征，效果還行，匹配采用互相關為準則的匹配，大概效果如下：      目測這幾個匹配點還是正確的哇！在一些應用中，可能需要的匹配點數相當多，這就需要較密集的匹配了。密集的匹配可以根據初始的匹配結果估計搜索范圍，這可以加速搜索，同時也要提取更多的特征點呀！話不多說了，下面是密集的匹配：     雖然這樣的密度對于三維重構來說還不夠，但對于一般的圖像拼接來說足夠了。匹配完了，下面就要將第二步了。二、 矯正    匹

3、配好兩幅圖像了，接下來干啥呢？把它們對準唄。可惜了，兩幅圖像之間不但存在平移，還存在旋轉縮放什么的，更復雜的，可能還存在所謂的3D變換，那就復雜啦！不管怎么樣，所謂的對準，也就是矯正，總是基于一定的模型的，即基于相機拍攝兩幅圖像的相對姿態。對于全景圖拼接（個人覺得是最簡單的且較實用的拼接），需要根據相機焦距或者視場角投影到柱面上，然后兩幅圖像間的位置就只有一維的平移關系了。但是這對拍攝的相機也是有要求的，就是要保證拍攝兩幅圖像時，物防焦點是重合的，這樣才能根據稀疏的幾個點確定所有重疊區域內點的相對位置呀！但實際中很難做到物方焦點重合，比如數碼相機或者所謂的智能手機的全景圖拍攝，一般人都是拿著相

4、機或者手機繞人旋轉，而非繞物方焦點旋轉拍攝的，這樣拼接起來是絕對有誤差的呀！特別是拼接近景，誤差就更大了，遠景還好。怎么克服這個缺點呢？簡單的改進方法就是繞著攝像頭旋轉吧，雖然這也不是嚴格繞物方焦距旋轉，但起碼誤差小得多啦，拼接的效果當然也就好得多了，可以試一試哦！    不扯了，第二種模型就是認為兩幅圖像間存在的變換關系是有2D旋轉、縮放、平移的，可以通過一個旋轉、縮放、平移矩陣來矯正，這個也不難，但是應用范圍卻相當有限，不詳說了。    第三種模型就是不用模型，或者說認為兩幅圖像間的對應點存在的是一種線性變換關系，這樣只要解一個線性方程組就可以了，似

5、乎也挺簡單的。但可惜的是，不是任給的兩幅圖像間都只存在線性變換呀！它可能是一個3D的線性變換，那就麻煩了，這個必須需要密匹配呀！不然就一定是有誤差的，即不能通過稀疏的匹配點來矯正兩幅圖像的所有對應點的。    還有更多的模型，比如各方位的全景圖，需要投影到球面上的哇！不過這個模型也不難。最難的當然是拍攝兩幅圖像時，相機不同，相機姿態也不同了，這個是很有挑戰的，我也很懼怕這個。下面展示三種矯正結果：1、2D線性模型：  2D矯正，認為匹配點之間存在線性變換，X=ax+by+c，Y=dx+ey+e這樣的模型，業內稱之放射變換，其中x，y是第一幅點的坐標，X,

6、Y是對應的第二幅圖像中的點坐標，使用最小二乘法計算a、b、c、d、e、f，第二幅圖相對于第一幅圖矯正的結果就是這樣的了 2D線性變換的拼接，目測效果還行 2、2D平移、旋轉、縮放模型：2D矯正，認為第二幅圖相對第一幅圖只存在平移、旋轉、放縮變換，當然這里的平移沒體現出來，我把它的平移參數放在程序里面了，這也是利用最小二乘法解的放大系數、旋轉角度和平移參數的，分別解的，矯正結果就是這樣了  2D旋轉矯正的拼接，目測效果也不是很好 3、柱面投影模型：       柱面投影，這兩幅是匹配前的柱面投影，

7、即把原始的兩幅圖像投影到柱面上，然后再匹配拼接，選擇的視場角為40°。當然，實際上這兩幅圖并不是共物方焦點的關系，柱面投影是不太恰當的柱面投影模型的拼接，顯然不太對啦     必須說明一下，拼接效果是跟拍攝的模型相關的，拍攝時相機間是什么模型，矯正時就用什么模型。這兩幅圖其實是3D變換，上面3種方法都是有誤差的，只是第一種2D線性變換比較接近實際模型而已，所以拼接效果就好一點啦！三、拼接縫消除     對于上面的兩幅圖像來說，矯正后直接放在一起就看不出拼接縫啦！但是一般情況下沒有這么理想，兩幅圖像的亮度總

8、是不一致，直接放在一起有一條很明顯的拼接線，怎么辦？消除。消除拼接線可不簡單啊，最簡單的是加權法，這種方法雖然能消除一條劇烈躍變的拼接線，但同時可能引入一條較寬的拼接條，下圖就很好地說明這一點了。 矯正后直接放在一起的，拼接線很明顯 用加權法融合拼接線附近，拼接線展成拼接條了         如果消除上圖中的拼接條？當然方法還是很多的，我也不太清楚了，這里用了一種叫做多分辨率融合的方法，即在拼接縫附近，在不同范圍內對不同的頻帶進行融合，然后再把個頻帶的融合結果加在一起，就變成下面的結果了，由圖看出，這方法

9、的效果還是比較好的。 多分辨率融合結果 總結     上面基本描述了拼接的過程了，還給出了一些示例。拼接是個難題，首先需要知道拍攝兩幅圖像相機的具體模型、內外參數等，匹配也是個難題，目前還沒有一種方法能保證在任意情況下匹配得好啊！并且匹配一般較慢，這里用的匹配方法還好了，800*600的普通圖像的匹配大概0.5s左右，當然是在沒有任何先驗知識、匹配過程中沒有降分辨率的情況下，如果知道兩幅圖像的大概相對位置，那么匹配會快很多了。誤匹配的消除也是個麻煩，搞不好就沒消除完，或者多消除了。RANSAC算法能較好地消除誤匹配，不過這里消除誤匹配時沒有用到

10、RANSAC算法，這個算法還是有較多的缺陷的，個人覺得消除誤匹配的方法還是根據具體模型來設計具體的方法好，這里的誤匹配消除是我自己搞的，效果還行，基本能將所有誤匹配消除，也基本不會消除正確的匹配，還是比較滿意的，速度也快。消除拼接縫也是個問題，實際上拼接線是引入的高頻噪聲信號，但是拼接線附近的很多高頻信號是有用的，噪聲是高頻，有用信號也有高頻，怎么辦？這就不可能通過濾波器來濾除噪聲同時保留有效信號了。加權法有一個妙處，它不引入高頻信號，引入中頻信號，這從倒數第二個圖可以看出來。這就比較好辦了，在圖像的拼接條附近，不同尺度采用不同截止頻率的濾波器，能較好地把這些中頻噪聲濾掉。對低頻的融合，還可以補償兩幅圖像的整體光照。可惜的是，這種方法也不是完美的，因為仍然有一些有用的中頻信號被濾除或者被衰減了。幸運的是，對于人來說，敏感的是那些低頻和高頻呀！中頻顯得沒那么重要，因此在局部減掉一些中頻影響并不大。當然，融合方法還有很多，例如基于梯度域的融合，都是些不錯的方法。    補充一點，這里用的都是灰度圖拼接。其實對于彩色圖，有了灰度圖的拼接就簡單了，對亮度進行拼接