第一頁(yè)，共四十六頁(yè)，2022年，8月28日第6章圖像校正和修補(bǔ)

6.1 圖像仿射變換

6.2 幾何失真校正

6.3 圖像修復(fù)

6.4 區(qū)域填充第二頁(yè)，共四十六頁(yè)，2022年，8月28日6.1 圖像仿射變換 {基本坐標(biāo)變換的擴(kuò)展}

6.1.1 一般仿射變換

6.1.2 特殊仿射變換

6.1.3

變換間的聯(lián)系第三頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換1.定義 一個(gè)非奇異線性變換接一個(gè)平移變換

矩陣形式

分塊矩陣形式

一個(gè)平面上的仿射變換有6個(gè)自由度第四頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換1.

定義

第五頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換2.

分解可以把A分解成兩個(gè)基本變換的組合：一個(gè)非各向同性放縮和一個(gè)旋轉(zhuǎn)

第六頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換2.

分解平移、放縮、旋轉(zhuǎn)和剪切變換的一種綜合

第七頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換3.

系數(shù)

從(x,y)到(x,y)和從(x,y)到(x,y)的變換第八頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換4.

性質(zhì)(1)仿射變換將有限點(diǎn)映射為有限點(diǎn)，即仿射變換

能建立一對(duì)一的關(guān)系(2)仿射變換仍將直線映射為直線(3)仿射變換將平行直線映射為平行直線(4)當(dāng)區(qū)域P和Q是沒有退化的三角形（即面積不為0），那么存在一個(gè)惟一的仿射變換A可將P映

射為Q，即Q=A(P)——3點(diǎn)映射變換(5)仿射變換會(huì)導(dǎo)致區(qū)域面積的變化第九頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換性質(zhì)

(5)仿射變換會(huì)導(dǎo)致區(qū)域面積的變化仿射變換可分解為包括剪切變換的多個(gè)變換正方形受到沿X方向的剪切作用后變成菱形在短對(duì)角線方向有所壓縮而在長(zhǎng)對(duì)角線方向有所拉伸第十頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.1

一般仿射變換性質(zhì)

(5)仿射變換會(huì)導(dǎo)致區(qū)域面積的變化

剪切后單方向的伸縮會(huì)導(dǎo)致面積變化第十一頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.2

特殊仿射變換1.

相似變換 矩陣表達(dá)

分塊矩陣形式第十二頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.2

特殊仿射變換2.

等距變換（剛體變換） 矩陣表達(dá)

分塊矩陣形式第十三頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.2

特殊仿射變換3.

歐氏變換 矩陣表達(dá)

分塊矩陣形式第十四頁(yè)，共四十六頁(yè)，2022年，8月28日6.1.3

變換間的聯(lián)系1.

變換的層次 構(gòu)成一個(gè)體系

逐步專門化（或者說(shuō)它們依次退化）

下一層變換是上一層變換的一個(gè)特例第十五頁(yè)，共四十六頁(yè)，2022年，8月28日6.2

幾何失真校正{既對(duì)像素進(jìn)行重新排列以恢復(fù)原空間關(guān)系，也對(duì)空間變換后的像素賦予相應(yīng)的灰度值以恢復(fù)原位置的灰度值}

6.2.1 空間變換

6.2.2 灰度插值第十六頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.1

空間變換幾何失真模型

圖像f(x,y)受幾何形變的影響變成失真圖像

g(x‘,y')：

線性失真二次失真（非線性）

第十七頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.1

空間變換約束對(duì)應(yīng)點(diǎn)方法 在輸入圖（失真圖）和輸出圖（校正圖）上找一些其位置確切知道的點(diǎn)，然后利用這些點(diǎn)建立兩幅圖間其它點(diǎn)空間位置的對(duì)應(yīng)關(guān)系

選取四邊形頂點(diǎn)四組對(duì)應(yīng)點(diǎn)解八個(gè)系數(shù)

g(x',y')f(x,y)第十八頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值

(x,y)的值總是整數(shù)，但(x',y')的值可能不是整數(shù) 用整數(shù)處的像素值來(lái)計(jì)算在非整數(shù)處的像素值最近鄰插值 也常稱為零階插值（計(jì)算量小，但精度差）將離(x',y')點(diǎn)最近的像素的灰度值作為(x',y')點(diǎn)的灰度值賦給原圖(x,y)處像素第十九頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值前向映射 一個(gè)失真圖的像素映射到不失真圖的四個(gè)像素之間 最后灰度是由許多失真圖的像素的貢獻(xiàn)之和所決定失真圖非失真圖第二十頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值后向映射 實(shí)際失真圖中四個(gè)像素之間的某個(gè)位置對(duì)應(yīng)不失真圖的某個(gè)像素，則先根據(jù)插值算法計(jì)算出該位置的灰度，再將其映射給不失真圖的對(duì)應(yīng)像素非失真圖失真圖

第二十一頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值前向映射和后向映射對(duì)比

后向映射既可以避免在不失真圖像中產(chǎn)生孔洞，也不需要重復(fù)計(jì)算多個(gè)失真圖像中像素的貢獻(xiàn)之和，所以實(shí)際中用得更為廣泛

第二十二頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值雙線性插值

利用(x',y')點(diǎn)的四個(gè)最近鄰像素A、B、C、D，灰度值分別為g(A)、g(B)、g(C)、g(D)

第二十三頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值雙線性插值

利用(x',y')點(diǎn)的三個(gè)不共線近鄰像素A、B、C，灰度值分別為g(A)、g(B)、g(C)。先計(jì)算g(E)

BA(x',y')CE第二十四頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值雙線性插值

推廣到3-D 問題轉(zhuǎn)化為2-D（繼續(xù)用前面插值方法進(jìn)行）第二十五頁(yè)，共四十六頁(yè)，2022年，8月28日6.2.2

灰度插值三次線性插值dx<1dx

>1dy

<1dy

>1第二十六頁(yè)，共四十六頁(yè)，2022年，8月28日6.3 圖像修復(fù)

圖像中部分區(qū)域發(fā)生缺損或缺失，像素灰度急劇改變，使圖像不完整的情況：①

在采集有遮擋的場(chǎng)景圖像或掃描有破損的老圖片時(shí)產(chǎn)生的部分內(nèi)容的缺失②在圖像加工中去除特定區(qū)域（無(wú)關(guān)景物）后留下的空白；③圖像上覆蓋文字或受到干擾（照片撕裂或有劃痕）導(dǎo)致的變化④對(duì)圖像進(jìn)行有損壓縮時(shí)而造成的部分信息丟失⑤在（網(wǎng)絡(luò)上）傳輸數(shù)據(jù)時(shí)由于網(wǎng)絡(luò)故障所導(dǎo)致的像素丟失第二十七頁(yè)，共四十六頁(yè)，2022年，8月28日6.3 圖像修復(fù) {圖像的退化反映在像素的位置變化以及灰度變化上}

6.3.1 圖像修補(bǔ)原理

6.3.2 全變分模型

6.3.3

混合模型第二十八頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.1

圖像修補(bǔ)原理圖像修補(bǔ)

基于不完整的圖像和對(duì)原始圖像的先驗(yàn)知識(shí)，通過采用相應(yīng)的方法糾正或校正前述區(qū)域缺損問題，以達(dá)到恢復(fù)圖像原貌的目的

修復(fù)（插補(bǔ)）

修補(bǔ)尺度較小的區(qū)域，利用局部結(jié)構(gòu)信息

補(bǔ)全（填充）

修補(bǔ)尺度較大的區(qū)域，考慮整圖紋理信息

相互之間在尺度上并沒有嚴(yán)格的界限第二十九頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.1

圖像修補(bǔ)原理圖像修補(bǔ)

病態(tài)的問題，解是不確定的

①領(lǐng)域復(fù)雜性：需修補(bǔ)區(qū)域隨應(yīng)用而不相同

②圖像復(fù)雜性：性質(zhì)在不同尺度表現(xiàn)不同

③模式復(fù)雜性：考慮視覺上有意義的模式第三十頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.1

圖像修補(bǔ)原理圖像修補(bǔ)模型

原始圖像f(x,y)，其分布的空間區(qū)域用F表示

待修補(bǔ)圖像g(x,y)，其分布的空間區(qū)域也是F待修補(bǔ)部分為d(x,y)其空間區(qū)域用D表示靶區(qū)域D源區(qū)域F–D第三十一頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.1

圖像修補(bǔ)原理第三十二頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.1

圖像修補(bǔ)原理第三十三頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.2

全變分模型用于去除劃痕或尺寸較小靶區(qū)域的修復(fù)技術(shù)基于偏微分方程或變分模型，兩者可以借助變分原理相互等價(jià)推出通過對(duì)靶區(qū)域進(jìn)行逐個(gè)像素的擴(kuò)散來(lái)達(dá)到修復(fù)圖像的目的沿著等光強(qiáng)線（相等灰度值的線）由源區(qū)域向靶區(qū)域延伸擴(kuò)散，擴(kuò)散時(shí)可借助全變分模型（TV）來(lái)恢復(fù)圖像中的缺失信息優(yōu)點(diǎn)是可以很好地保持圖像中的線性結(jié)構(gòu)，缺點(diǎn)是不一定能保持圖像細(xì)節(jié)第三十四頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.2

全變分模型擴(kuò)散的代價(jià)函數(shù)約束（去除噪聲）有約束問題轉(zhuǎn)化成無(wú)約束問題第三十五頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.2

全變分模型引入擴(kuò)展的拉格朗日因子lD新的泛函式能量梯度下降方程第三十六頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.3

混合模型代價(jià)函數(shù)的梯度項(xiàng)改為梯度平方項(xiàng)借助擴(kuò)展拉格朗日因子得到泛函取兩種模型的加權(quán)和的混合模型：調(diào)和模型第三十七頁(yè)，共四十六頁(yè)，2022年，8月28日6.3.3

混合模型調(diào)和模型的泛函（h=1時(shí)為全變分模型）混合模型：p-調(diào)和模型p-調(diào)和模型的泛函（p=2時(shí)為調(diào)和模型）第三十八頁(yè)，共四十六頁(yè)，2022年，8月28日6.4

區(qū)域填充修復(fù)方法將缺失區(qū)域周圍的信息向中心擴(kuò)散，對(duì)尺度較大的缺失區(qū)域，擴(kuò)散會(huì)造成一定的模糊，且模糊程度隨缺失區(qū)域的尺度增加而增加修復(fù)方法沒有考慮缺失區(qū)域內(nèi)部的紋理特性，將缺失區(qū)域周圍的紋理特性直接移入缺失區(qū)域內(nèi)。由于對(duì)尺度比較大的缺失區(qū)域，內(nèi)外紋理特性可能有較大的差別，導(dǎo)致修復(fù)結(jié)果不很理想(1)將圖像分解為結(jié)構(gòu)部分和紋理部分，對(duì)結(jié)構(gòu)性強(qiáng)的部分用擴(kuò)散方法進(jìn)行插補(bǔ)，而對(duì)紋理明顯的部分則借助紋理合成的技術(shù)進(jìn)行填充第三十九頁(yè)，共四十六頁(yè)，2022年，8月28日6.4

區(qū)域填充(2)在圖像未退化部分選擇一些樣本塊，用這些樣本塊來(lái)替代擬填充區(qū)域邊界處的圖像塊（這些塊的未退化部分與所選樣本塊有接近的特性），并逐步向擬填充區(qū)域內(nèi)部遞進(jìn)填充

基于第1種思路的方法是一種混合的方法，擴(kuò)散的方法借助了結(jié)構(gòu)信息，但要完全用紋理合成來(lái)填補(bǔ)大面積靶區(qū)域仍有一定風(fēng)險(xiǎn)和難度

基于第2種思路的方法常稱為基于樣本的圖像填充方法。這類方法直接用源區(qū)域中的信息（包括紋理信息）來(lái)填補(bǔ)靶區(qū)域第四十頁(yè)，共四十六頁(yè)，2022年，8月28日6.4

區(qū)域填充 {基于樣本的方法及其改進(jìn))}

6.4.1 基于樣本的方法

6.4.2 結(jié)合稀疏表達(dá)的方法第四十一頁(yè)，共四十六頁(yè)，2022年，8月28日6.4.1基于樣本的方法使用保持原狀的空間區(qū)域去估計(jì)和填充待修補(bǔ)部分中缺失的信息(1)計(jì)算圖像塊的優(yōu)先權(quán)填充圖像塊的工作從外向里進(jìn)行先填充具有較強(qiáng)連續(xù)邊緣（人對(duì)邊緣信息更敏感）的區(qū)域和其中已知信息較多的區(qū)域以邊界點(diǎn)p為中心的圖像塊P(p)的優(yōu)先權(quán)值

C(p)：置信度項(xiàng)

D(p)：數(shù)據(jù)項(xiàng)算法優(yōu)先沿著等照度線的方向修復(fù)第四十二頁(yè)，共四十六頁(yè)，2022年，8月28日6.4.1基于樣本的方法(2)傳播紋理和結(jié)構(gòu)信息確定出具有最高優(yōu)先權(quán)的圖像塊（靶區(qū)域）從源區(qū)域中選圖像塊數(shù)據(jù)來(lái)填充它要使兩個(gè)圖像塊中已填充像素的平方差的和最小。這樣填充的結(jié)果可將紋理和結(jié)構(gòu)都從源區(qū)域傳播到靶區(qū)域中(3)更新置信度值當(dāng)一個(gè)圖像塊被用新像素值填充后，其置信度值也要用新像素所在圖像塊的置信度值來(lái)更新。這可幫助測(cè)量鋒線上圖像塊間相對(duì)的置信度第四十三頁(yè)，共四十六頁(yè)，20