1、1Martin T.HaganHoward B. Demuth 著Mark H. Beale戴 葵等譯機械工業出版社2矩陣及線性空間線性變換線性代數神經網路的數學基礎（一）3神經網絡基礎（續）向量（矢量）的定義： 既有大小又有方向的量叫做向量。 向量的線性相關與線性無關： 如果有n個向量Pi ， 存在n個標量ai ,當且僅當每個ai都等于0時，有：那么，稱這n個向量Pi 線性無關；如果ai中至少有一個不等于0時稱這n個向量Pi 線性相關。4神經網絡基礎(續)線性向量空間的定義： page 60 滿足12個條件 空間維數： 如果P 是一個線性空間， m個向量Pi構成P的一個子集。稱P是Pi的一個

2、張成，當且僅當對于任意一個XP,存在m個標量ai,滿足：空間維數是由張成這一空間所需最少向量的個數，這些向量就構成了空間的基。比如：平面空間的維數為二，P1=1,0T, P2=0,1T就可以作為它的基。5神經網絡基礎(續)向量的內積定義： page 63 如果P 是一個n維線性空間， X,YP,且X=xi, Y=yi,則X,Y的內積可表示為：向量的正交性：設P 是一個n維線性空間， X,YP,且X=xi, Y=yi,如果X,Y的內積為0，則X,Y 正交。7神經網絡基礎(續)線性變換的定義： page 80 線性變換的矩陣表示：兩個有限維向量空間的任何線性變換都可以用一個矩陣來表示?，F證明如下：

3、證明：設v1,v2,vn是向量空間P的一個基， u1,u2,um是向量空間Q的一個基，如果XP，YQ，A是一個定義域為P，值域為Q的線性變換，則有：8神經網絡基礎(續)A是一個線性變換，則有：A(vj)是值域Q中的一個元素，故可寫成Q空間矢量基的線性組合，則有：交換求和號：10神經網絡基礎(續)相似變換：設t1,t2,tn是向量空間P的另外一個基， w1, w2,wm是向量空間Q的另外一個基，如果XP，YQ，那么在這兩個基下， XP，YQ 可表示為：11神經網絡基礎(續)相似變換：設t1,t2,tn是向量空間P的另外一個基， w1, w2,wm是向量空間Q的另外一個基，如果XP，YQ，假設A是

4、另一個定義域為P，值域為Q的線性變換，則有：12神經網絡基礎(續)ti是P中的一個元素，故可寫成P空間矢量基的線性組合，則有：wi是Q中的一個元素，故可寫成Q空間矢量基的線性組合，則有：14神經網絡基礎(續)這就是相似變換，即一個給定相似變換對應的任何兩個矩陣之間的關系。15性能優化：求極值神經網路的數學基礎（二）17優化方法其中 定義為梯度，這是一個向量。定義為Hessian 矩陣 。18神經網絡基礎(續)強極小點： 如果存在某個純0，使得當0|X| 時，對所有X 都有F(X*) F(X*+ X)成立，則稱X*是F(X)的一個強極小點。換句話說：在一定的范圍內，從一個強極小點出發沿任意方向移

5、動任意小的距離都將使F(X)增大。因此強極小點又稱為局部極小點。弱極小點： 如果存在某個純0，使得當0|X| 時，對所有X 都有F(X*) F(X*+ X)成立，則稱X*是F(X)的一個強極小點。換句話說：在一定的范圍內，從一個強極小點出發沿任意方向移動任意小的距離都將使F(X)增大或保持不變。19神經網絡基礎(續)全局極小點：對所有X0 都有F(X*) F(X*+ X)成立，則稱X*是F(X)的全局極小點。換句話說：從一個全局極小點出發沿任意方向移動任意小的距離都將使F(X)增大。極大點： 在上述的極小點的描述中，將F(X*) F(X*+ X)改寫成F(X*)F(X*+ X)就可以得到極大點

6、的有關定義。20神經網絡基礎(續)求極值點的方法： 假設多元目標函數仍為F(X)，在X*處的梯度和Hessian矩陣為 F(X)， 2 F(X)，則X*為強極小點的必要條件為：X*為強極小點的充分條件為： 2 F(X)為半正定矩陣。半正定矩陣的判別方法： 對任意的Z0矢量有21神經網絡基礎(續)優化方法： 假設多元目標函數仍為F(X)，我們的目的是求出使F(X)最小的X。這就是所謂的優化。一般情況下，給定一個初始猜測值X0，按照下式進行迭代尋優。其中k為學習步長，Pk為代表某一搜索方向。所以，在這里我們有必要研究一下方向導數。22神經網絡基礎(續)方向導數： 假設P是一個向量， F(X)是多元目標函數，則沿P的一階方向導數定義為： P是一個向量， F(X) 也是一個向量。PTF(X)實際上是P和F(X)的內積。如果一階方向導數為零，表明P和F(X)垂直，對應的方向導數最小。所以，當P和F(X)同向時，對應的方向導數最大 。沿P二次階方向導數：24神經網絡基礎(續)滿足上式的任意一個