共軛梯度法反演第一頁，共三十頁，2022年，8月28日主要內容一、共軛梯度法簡介二、共軛梯度法原理基本原理2.1問題的等價2.2最速下降法2.3共軛梯度法2.4共軛梯度法共軛梯度法基本步驟三、共軛梯度法的優缺點四、共軛梯度法的適用范圍

五、共軛梯度法的改進

*2第二頁，共三十頁，2022年，8月28日從概率論觀點來看，非線性反演可以分為：統計方法和確定性方法。非線性反演統計方法蒙特卡洛方法模擬退火法遺傳算法……確定性方法最速下降法牛頓法共軛梯度法變尺度法……*3第三頁，共三十頁，2022年，8月28日一、共軛梯度法簡介確定性非線性反演方法采用的反演策略是非線性問題的線性化,主要利用目標函數的梯度信息,通過反復迭代,尋找反演的最優解。雖然統計類反演的最大優點是不完全依賴于初始猜測,理論上在反演過程中不會陷入局部極值。但是,這類方法的計算工作量巨大,效率很低。地球物理反演中涉及的模型參數成百上千,就目前的計算條件來說,統計類方法仍然不能滿足大規模地球物理反演的要求。*4第四頁，共三十頁，2022年，8月28日共軛梯度法一開始是由Schmidt于1908年引入梯度類方法計算效率高,特別是大約1951年，Hestenes和Stiefel經過不斷的改進,并且和統計類反演方法結合形成了統計加迭代的組合反演方法,消除了依賴于初始猜測的缺點,成了一種廣受歡迎的反演方案。。一、共軛梯度法簡介*5第五頁，共三十頁，2022年，8月28日二、共軛梯度法原理基本原理通常對于一個反演問題，都是尋找目標函數的極值以獲取對應的極小值解作為反演結果。得目標函數：(1)則2.1問題的等價*6第六頁，共三十頁，2022年，8月28日2.2最速下降法基本思想：

任取一個迭代初始向量x(0)，構造迭代序列x(0),

x(1),x(2),

...，使得(x(0))>

(x(1))>

(x(2))>

...，且每一步都以“最快的速度”下降到(x)的極小值，求得對應的x值即為反演的結果。二、共軛梯度法反演的基本原理*7第七頁，共三十頁，2022年，8月28日具體做法：(2)該方向為：(3)2.2最速下降法二、共軛梯度法反演的基本原理*8第八頁，共三十頁，2022年，8月28日我們假設在點X0處開始沿負梯度方向搜索,到達點X1,即為了使搜索能夠快速到達極值點選取α使

達到最小,即

(4)或者:(5)2.2最速下降法二、共軛梯度法反演的基本原理*9第九頁，共三十頁，2022年，8月28日2.2最速下降法(5)式說明,如果α的取值,使得φ’(x1)與r0正交,即前一次搜索的方向必與下一次的搜索方向正交,這樣使得最速下降的搜索路徑成空間鋸齒形,且下降方向是一組交替平行的梯度方向(右圖)。這啟示我們,雖然最速下降的搜索過程有成百上千次,但實際上只需要一組n個

彼此正交的梯度方向就可以搜索到極值解。最速下降法搜索路徑二、共軛梯度法反演的基本原理*10第十頁，共三十頁，2022年，8月28日2.3共軛梯度法二、共軛梯度法反演的基本原理*11第十一頁，共三十頁，2022年，8月28日共軛向量的構造設有一組n維彼此關于n×n的正定對稱矩陣A共軛的向量，能夠使我們分別沿著這n個共軛向量所指的方向各搜索一次,就可以達到極值點。設有一組線性無關的向量,可以通過對它們的線性組合構造出一組n個彼此共軛的向量。2.3共軛梯度法二、共軛梯度法反演的基本原理*12第十二頁，共三十頁，2022年，8月28日共軛向量的構造(6)

(7)

(8)2.3共軛梯度法二、共軛梯度法反演的基本原理*13第十三頁，共三十頁，2022年，8月28日2.4共軛梯度法共軛梯度法基本步驟二、共軛梯度法反演的基本原理*14第十四頁，共三十頁，2022年，8月28日2.4共軛梯度法共軛梯度法基本步驟二、共軛梯度法反演的基本原理(9)(10)*15第十五頁，共三十頁，2022年，8月28日(11)(12)2.4共軛梯度法共軛梯度法基本步驟二、共軛梯度法反演的基本原理*16第十六頁，共三十頁，2022年，8月28日優

點三、共軛梯度法的優缺點*17第十七頁，共三十頁，2022年，8月28日計算效率比較最速下降法共軛梯度法三、共軛梯度法的優缺點*18第十八頁，共三十頁，2022年，8月28日局限性三、共軛梯度法的優缺點*19第十九頁，共三十頁，2022年，8月28日P1全局極小值P2局部極小值三、共軛梯度法優缺點局限性*20第二十頁，共三十頁，2022年，8月28日三、共軛梯度法的優缺點

局限性初始猜測反演結果目標函數值(2,-1)(3.0，0.0)0.6011(-2,-1)(-3.0,0.0)0.7606(-1.5,0)(-0.0958,0)0.9932(4,-1)(3.0，0.0)0.6011從理論上說，共軛梯度法近乎完美，但自問世以來的幾十年中，共軛梯度法仍然在不斷改進中。在非線性反演中，共軛梯度法最大的局限性在于依賴于初始值，不能確保收斂到全局極小值。*21第二十一頁，共三十頁，2022年，8月28日最速下降法反映的目標函數的一種局部性質,從局部看,最速下降方向是目標函數值下降最快的方向,選擇這樣的方向進行搜索是有利的.但從全局來看,由于鋸齒現象的影響,即使向著極小點移近不太大的距離,也要經歷不小的”彎路”,因此收斂速度大為減慢.最速下降法一般適用于計算過程的前期迭代,或者作為間插步驟.四、共軛梯度法的適用范圍

*22第二十二頁，共三十頁，2022年，8月28日傳統的共軛梯度法在地球物理反演和最優化等方面,得到了廣泛的應用，但在非線性反演中，共軛梯度法在很大的程度上依賴于初始值的猜測，不能確保收斂到全局極小值，然而相對于其它的非線性反演方法,共軛梯度法效率高,計算穩定,適用于大規模的地球物理反演問題。四、共軛梯度法的適用范圍

*23第二十三頁，共三十頁，2022年，8月28日為了能夠使共軛梯度法收斂到全局極小值，為此一些學者不斷探索，提出了兩種解決方案，一種是直接改進共軛梯度算法本身以達到有條件全局收斂的目的；另一種是利用啟發式非線性反演具有全局搜索的能力，加上共軛梯度法的高效計算的混合算法。五、共軛梯度法的改進

*24第二十四頁，共三十頁，2022年，8月28日五、共軛梯度法的改進該方法采用非啟發式反演方法,快速收斂到某一極值;再用啟發式反演方法跳出局部極值;然后使用非啟發式反演方法收斂到另一局部極值,反復進行此過程;并在解空間范圍內搜索,保留所有的局部極值,最終確定最優解。它繼承了隨機爬山能夠全局尋優、共軛梯度法計算速度快和精度高的優點,能快速搜索到全局最優解。4.1隨機共軛梯度法*25第二十五頁，共三十頁，2022年，8月28日*26五、共軛梯度法的改進4.1隨機共軛梯度法模型修改模型參數計算目標函數S(x)和△S△S<0CG反演終止是否收斂是否是否第二十六頁，共三十頁，2022年，8月28日試驗證明,這種方法是一種高效的反演算法,特別適用于求解非線性、多極值的最優化問題和地球物理反問題。4.1隨機共軛梯度法五、共軛梯度法的改進*27第二十七頁，共三十頁，2022年，8月28日在大規模的地球物理反演中