1、優化設計的數學基礎優化設計的數學基礎220102201002120102011001,lim,lim2010 xxxfxxxfxfxxxfxxxfxfxxxx01xxfdxxfxxxxfdfdx20102201100,lim01、方向導數 一個二元函數 在 處的偏導數定義為而 和 分別是函數 在x0點處沿坐標軸x1和x2方向的變化率。因此函數 在 點處沿某一方向d的變化率如圖2-1所示， 其定義應為稱其為該函數沿此方向的方向導數。據此， 偏導數 、 也可以看成是該函數分別沿x1和x2方向的方向導數。所以方向導數是偏導數概念的推廣，偏導數是方向導數特例。21,xxf20100,xxx01xxf2

2、1,xxf21,xxf20100,xxx02xxf01xxf02xxf220102201002120102011001,lim,lim2010 xxxfxxxfxfxxxfxxxfxfxxxxdxxfxxxxfdfdx20102201100,lim0優化設計的數學基礎優化設計的數學基礎22112220110220110011201020110020102201100coscos,lim,lim,lim000 xxdddxxfxfdxxxxxfxxxxfdxxxxfxxxfdxxfxxxxfdf方向導數和偏導數之間的關系，方向導數和偏導數之間的關系， 從下述推導可知從下述推導可知優化設計的數學基

3、礎優化設計的數學基礎332211coscoscos0000 xxxxxfxfxfdf類似的， 一個三元函數 在 點處沿d方向的方向導數和偏導數的關系如下所示，見圖2-2321,xxxf30,20,100 xxxx類似的，類似的， 一個一個n元函數元函數 在在 點處沿點處沿d方向的方向導數方向的方向導數n21,xxxf，0 xixniinxxxxxfxfxfxfdfcoscoscoscos000001n2211其中的cosi為d方向和坐標軸xi方向之間夾角的余弦。優化設計的數學基礎優化設計的數學基礎2、二元函數的梯度、二元函數的梯度21212211coscoscoscos0000 xxxxxfx

4、fxfxfdf Txxxfxfxfxfxf002121021coscosd dxfdfTx00令稱其為函數f(x1,x2)在x0點的梯度。設為d方向的單位向量， 則可得：優化設計的數學基礎優化設計的數學基礎 優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎例2-1 求二元函數在x0 = 0 0T處函數變化率最大的方向和數值。524,21222121xxxxxxf 2422420021210 xxxxxfxfxf 52242222210 xfxfxf解：由于函數變化率最大的方向是梯度方向， 這里用單位向量p表示， 函數變化率最大的數值是梯度的模f(x0)。求f(x1,x2

5、)在x0點處的梯度方向和數值，計算 如下 5152522400 xfxfp優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎三、向多元函數的推廣 函數 f(x1,x2， , xn)在x0 (x1,x2， , xn)處的梯度可定義為函數 f(x1,x2， , xn)在x0處沿d的方向導數可表示為d方向上的單位向量梯度f(x0)的模為梯度方向單位向量為 ，它與函數等值面 f (x) = c相垂直，也就是和等值面上過x0的一切曲面相垂直，如圖2-5所示。Txnxnxfxfxfxfxfxfxf0021210dfxfdxfxfdfTixniix,coscos00100ndcosco

6、scos21211200nixixfxf00 xfxfp優化設計的數學基礎優化設計的數學基礎 多元函數的泰勒(Taylor)展開在優化方法中十分重要，許多方法及其收斂性證明都是從它出發的。優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎2.3 2.3 無約束優化問題的極值條件無約束優化問題的極值條件優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設

7、計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎2.4 2.4 凸集與凸函數與凸規劃凸集與凸函數與凸規劃優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎2.5 2.5 等式約束優化問題的極值條件等式約束優化問題的極值條件對于等式約束優化問題： minf

8、(x) s.t. hk(x) = 0 (k = 1,2,m)需要導出極值存在的條件。數學上有兩種處理方法：消元法（降維法）拉格朗日乘子法（升維法）優化設計的數學基礎優化設計的數學基礎一、消元法1）二元函數只有一個等式約束 minf(x1，x2) s.t. h (x1，x2) = 0處理方法：將x1表示為x1 = (x2), 并代入目標函數中消去x1,變成一元函數F(x2), 則等式約束優化問題變為無約束優化問題。目標函數二維變一維,故稱降維法。2）n維情況 minf(x1，x2，xn) s.t. hk (x1，x2 ，xn) = 0 (k = 1,2,l)由l個約束方程將n個變量中的前l個變量

9、用其余n-l個變量表示， 有 x1 = (xl+1,xl+2,xn)x2 = (xl+1,xl+2,xn)xn = (xl+1,xl+2,xn)將這些函數關系代入到目標函數中， 得到只含有xl+1,xl+2,xn共n-l個變量的函數F(xl+1,xl+2,xn), 從而利用無約束優化問題的極值條件求解。（因為將l個約束方程聯立往往求不出解來，實際上難于求解）優化設計的數學基礎優化設計的數學基礎二、拉格朗日乘子法通過增加變量將等式約束優化問題變成無約束優化問題。對于 minf(x) s.t. hk(x) = 0 (k = 1,2,l)在極值點x*處有 (k = 1,2,l)令可通過其中的l個方程

10、 (a)來求解l個待定系數1，2，l，使得l個變量的微分dx1, dx2, ，dxl 的系數全為零。于是得到 00*1*1*dxxhdxxhxdhdxxfdxxfxdfTkiniikkTinii012211iniilliiidxxhxhxhxf02211illiiixhxhxhxf012211inliilliiidxxhxhxhxf優化設計的數學基礎優化設計的數學基礎則有 (b)(j = l+1, l+2,n)式（a),(b)及等式約束條件 hk(x) = 0 (k = 1,2,l) 就是點x達到約束極值的必要條件。式（a),(b)可以合并寫成 (i = 1, 2,n) （c）令 式中 待定系

11、數k稱為拉格朗日乘子， F(x, )稱為拉格朗日函數。本方法稱為拉格朗日乘子法。 把F(x, )作為一個新的無約束條件的目標函數來求解它的極值點， 所得結果就是滿足約束條件的原目標函數的極值點。自F(x, )具有極值的必要條件：可得l+n個方程。由這些方程組求得函數f(x)的極值點x*=x1* x2* xl*T.02211jlljjjxhxhxhxf02211illiiixhxhxhxf xhxfxFklkk1,lkFnixFki, 2 , 10, 2 , 10優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計的數學基礎優化設計

12、的數學基礎優化設計的數學基礎優化設計的數學基礎例2-4 用拉格朗日乘子法計算極值點坐標f(x1，x2)=4x12+5x22 s.t. h (x1，x2) = 2x1+3x2-6=0解：F(x, )=4x12+5x22+ (2x1+3x2-6)Fx1=8x1+2=0 x1=-/4Fx2=10 x2+3=0 x2=-3/10F =2x1+3x2-6=0=-30/7所以得x1=1.071， x2=1.286此即為所求極值點x*.優化設計的數學基礎優化設計的數學基礎2.6 2.6 不等式約束優化問題的極值條件不等式約束優化問題的極值條件不等式約束的多元函數極值的必要條件是庫恩-塔克（Kuhn-Tuch

13、er)條件，是非線性理論的重要基礎。優化設計的數學基礎優化設計的數學基礎一、一元函數在給定區間上的極值條件一、一元函數在給定區間上的極值條件 一元函數在給定區間a, b上的極值問題，可寫成如下的不等式約束問題minf(x)s.t. g1(x) = a-x 0 g2(x) = x-b 0采用拉格朗日乘子法，將上述兩個不等式約束變為等式約束h1(x, a1)=g1(x)+a12 = a-x+a12h2(x, b1) = g2(x)+b12 = x-b+b12并得到拉格朗日函數F(x,a1,b1,1,2)= f(x)+ 1 h1(x, a1)+2 h2(x, b1) 1,2為對應于不等式約束條件的拉

14、格朗日乘子， 10,2 0優化設計的數學基礎優化設計的數學基礎 根據拉格朗日乘子法，此問題的極值條件是 0,0,02020212122211111121111212211bxgbxhFaxgaxhFbbFaaFdxdfdxdgdxdgxfxF 為起作用約束：不起作用：00, 000, 0011111111xaxgaxaxgaa axxgaxxg,0, 00, 0111為起作用約束不起作用約束，分析即1，g1(x)二者必有一個等于0，因此可以寫成1g1(x)=0。優化設計的數學基礎優化設計的數學基礎 同樣對于，2b1=0 進行分析可得 bxxgbxxg,0, 00, 0222為起作用約束不起作用

15、約束，因此可以寫成2g2(x)=0。 于是，對于一元函數f(x)在給定區間上的極值條件，可以完整地表示為這樣的分析方法可以推廣到二元甚至多元函數不等式約束優化問題上去，從而給出著名的庫恩一塔克條件。0, 00)(, 0)(02122112211xgxgdxdgdxdgdxdf(a)優化設計的數學基礎優化設計的數學基礎對于一元函數f(x)在給定區間a, b 上的極值條件，式(a)中的第一式可簡化為0212211dxdfdxdgdxdgdxdf分析極值點x*在區間a, b 中的位置，可能出現3種情況，如圖2-11所示。這和如圖2-11所示的從幾何概念分析的結果完全一致。0d*d, 0dd0, 0*

16、30d*d, 0dd0, 0*2)0d*d0*) 122112121xxfxfbxxxfxfaxxxfbxa即極值條件為，時，當）即極值條件為，時，當極值條件為，時，當優化設計的數學基礎優化設計的數學基礎 由以上分析可知，對應于不起作用約束的拉格朗日乘子取零值。因此可以引入起作用約束的下標集合J(x) = j|gj(x) = 0, j = 1, 2。當ax*0, 20。此為目標函數在兩個起作用約束作用下使x*成為條件極值點的必要條件。*2211xgxgxf優化設計的數學基礎優化設計的數學基礎對于同時具有等式和不等式約束的優化問題：minf(x) s.t. gj(x) 0 (j = 1,2,m) hk(x) = 0 (k = 1,2, ,l)庫恩-塔克條件可以表示為注意，對應于等式約束的拉格朗日乘子，沒