1、梯度下降法、牛頓迭代法、共軛梯度法（參見：神經網絡-PGM-ANN-2009-C09性能優化） 優化的目的是求出目標函數的最大值點或者最小值點，這里討論的是迭代的方法梯度下降法首先，給定一個初始猜測值 ，然后按照等式 （1） 或 （2） 逐步修改猜測。這里向量 代表一個搜索方向，一個大于零的純量 為學習速度，它確定了學習步長。當用 進行最優點迭代時，函數應該在每次迭代時都減小，即 考慮 （3） 的 在的一階泰勒級數展開： （4）其中，為在舊猜測值處的梯度 （5）要使只需要（4）中右端第二項小于0，即 （6）選擇較小的正數。這就隱含。滿足的任意向量成為一個下降方向。如果沿著此方向取足夠小步長，函

2、數一定遞減。并且，最速下降的情況發生在最小的時候，容易知道，當時最小，此時，方向向量與梯度方向相反。在（1）式中，令，則有 （7）對于式（7）中學習速率的選取通常有兩種方法：一種是選擇固定的學習速率，另一種方法是使基于學習速率的性能指數或目標函數在每次迭代中最小化，即沿著梯度反方向實現最小化：。注意：1、 對于較小的學習速度最速下降軌跡的路徑總是與輪廓線正交，這是因為梯度與輪廓線總是正交的。 2、如果改變學習速度，學習速度太大，算法會變得不穩定，振蕩不會衰減，反而會增大。3、 穩定的學習速率 對于任意函數，確定最大可行的學習速度是不可能的，但對于二次函數，可以確定一個上界。令特征函數為： （8

3、）那么梯度為 代入最速下降法公式（7）中 （9）在動態系統中，如果矩陣的特征值小于1，則該系統是穩定的。可用赫森矩陣A的特征值來表示該矩陣的特征值，假設A的特征值和特征向量分別為和，那么 （10）于是，最速下降法的穩定條件為 （11）如果二次函數有一個強極小點，則其特征值為正數，上式可以化為由于該式對于赫森矩陣的所有特征值都成立則 （12）分析：最大的穩定學習速度與二次函數的最大的曲率成反比。曲率說明梯度變化的快慢。如果梯度變化太快，可能會導致跳過極小點，進而使新的迭代點的梯度的值大于原迭代點的梯度的值（但方向相反）。這會導致每次迭代的步長增大。4、 沿直線最小化 選擇學習速率的另一種方法是使

4、得每次迭代的性能指數最小化，即選擇使得下式最小： 對任意函數的這種最小化需要線性搜索。對二次函數解析線性最小化是可能的。上式對的導數為： （13）令式（13）導數為零求得 （14）這里為的赫森矩陣：牛頓法牛頓法基于二階泰勒級數： （15）牛頓法的原理是求的二次近似的駐點，求這個二次函數對的梯度并令它等于0，則有 （16）解得： 于是，牛頓法定義為 （17） 注意：牛頓法總是用一個二次函數逼近,然后求其駐點，因此此方法總能夠一步找到二次函數的極小點，如果原函數為二次函數（有強極小點），它就能夠實現一步極小化如果不是二次函數，則牛頓法一般不能在一步內收斂，是否收斂取決于具體的函數和初始點盡管牛頓法

5、的收斂速度通常比最速下降法快，但其表現很復雜，除了收斂到鞍點的問題外，算法還可能震蕩和發散，如果學習速率不太快或每步都實現線性極小化，最速下降法能保證收斂牛頓法的另一個問題是需要對赫森矩陣及其逆陣的計算和存儲共軛梯度法牛頓法有一個性質成為二次終結法（quadratic temination），即它能在有限迭代次數內使得二次函數極小化，但這需要計算和存儲二階導數，當參數個數很大時，計算所有二階導數是很困難的。假定對下述二次函數確定極小點： （18）當且僅當時，稱向量集合對于一個正定赫森矩陣A兩兩共軛。因為對稱矩陣的特征向量是兩兩正交的。已經證明，如果存在沿著一個共軛方向集的精確線性搜索序列，就能

6、夠在最多n此搜索內實現具有n個參數的二次函數的精確極小化。注意到對于二次函數，有 （19）由于，又有，選擇使函數在方向上極小化，則共軛條件可重寫稱 （20）注意，第一次搜索方向是任意的，而是與垂直的任意向量。所以共軛向量集的數量是無限的。通常從最速下降法的方向開始搜索：每次迭代都要構造一個與正交的向量。可以將迭代形式簡化為 （21）通常選擇或或綜上，算法可以歸納為：1、 選擇如的與梯度相反的方向作為第一次搜索方向2、 根據進行下一步搜索，確定以使函數沿搜索方向極小化3、 根據確定下一個搜索方向，計算4、 如果算法不收斂，回到第2步算法比較 梯度下降法形式簡單，一般情況下都能夠保證收斂，但是收斂速度慢 牛頓法對于二次目標函數收斂速度快，但是不能夠保證收斂，而且