1、機械優化設計機械優化設計目標函數和約束函數的基本性質目標函數和約束函數的基本性質約束函數的集合及性質約束函數的集合及性質優化問題的最優解及其最優性條件優化問題的最優解及其最優性條件優化問題的數值解法及收斂條件優化問題的數值解法及收斂條件函數的等值面（線）函數的等值面（線）當a0,c0和ac-bb0時，是正定二元二次函數正定二元二次函數，其等值線其等值線為一族橢圓線，為一族橢圓線，橢圓線族的中心橢圓線族的中心是函數的極小點是函數的極小點。2x1x1c2c 2)(2121212221xxcbbaxxxbxcxaxXf2x1x)(XF1c2c 522)(1222122141xxxxxxXf較高次的非

2、線性函數較高次的非線性函數，如：*x2x1x 函數的等值線在極小點也呈現出近似橢圓形狀，因為高次函數在該點處可以近似的用泰勒二次公式展開成為正定二次函數。 22245.44)(22141221222121xxxxxxxxxXf較高次的非線性函數較高次的非線性函數，如：函數有兩個極小點和一個鞍點*1x*2x2x1x*3x對于二元二次函數對于二元二次函數。，其等值線為拋物線族若其等值線為雙曲線族；，若，其等值線為橢圓族；若 0 0 0 ,2)(22221222121bacbacbacfexdxcxxbxaxXf 當目標函數為線性函數時，其等值線為平行線族。 這一概念完全可以推廣到這一概念完全可以推

3、廣到n維設計問題的分析中。維設計問題的分析中。 等值線（面）的分布規律，反映出目標函數的變化規律。等值線（面）的分布規律，反映出目標函數的變化規律。從等值線的分布情況可以看出從等值線的分布情況可以看出:1、等值線愈內層，其函數值愈小；2、在等值線較密的部位其函數值的變化較大；3、對于有心的等值線，其等值線族的中心就是一個局部最小點；4、函數的非線性程度愈嚴重，其等值線的形狀愈復雜，且可存在多個局部極小點；5、嚴重非線性函數的等值線族嚴重偏心和扭曲，其分布疏密不一，就成為所謂的“病態函數“。函數的最速下降方向函數的最速下降方向1、函數的方向導數和梯度、函數的方向導數和梯度連續可微n維函數 在某點

4、 處的一階偏導數為：它表示函數 值在點 沿各坐標軸方向的變化率。,)0(2)0(1)0(nxXfxXfxXf)()0(Xf)0(X)()0(Xf)0(X梯度梯度：TnxXfxXfxXfXf)0(2)0(1)0(0,方向導數方向導數函數沿任意S方向的變化率。2x1x1x2xS21)0(X)1(X22212)0(21)0(1)1()0(2)0(1)0(,xxxxxxXxxX方向導數：方向導數：)0(2)0(12)0(21)0(10)0(,limxxfxxxxfsXf22)0(11)0(22)0(11)0(22)0(2)0(12)0(2)0(1112)0(2)0(12)0(21)0(10cos)(c

5、os)()()(, ,limxXfxXfxxXfxxXfxxxxfxxxfxxxxxfxxxxf2x1x1x2xS21)0(X)1(X212)0(1)0(22)0(11)0()0(coscos)(,)(cos)(cos)()(xXfxXfxXfxXfsXf cos,coscoscosT2121sS的方向余弦：函數的方向導數等于函數梯度在該方向上的投影函數的方向導數等于函數梯度在該方向上的投影將函數 在點 的梯度：簡記為： 方向余弦：TnxXfxXfxXfXf)0(2)0(1)0(0,)()0(Xf)0(XfTnscos,cos,cos21對n維函數，其方向導數：1coscoscos),cos(

6、),cos(coscoscos,coscoscoscos22221212112211nTnnniiinnssffsfsfsfxfxfxfxfxfxfxfsf),cos(),cos(sffsfsfsfT梯度的性質梯度的性質：1、梯度 是函數值在點 上升最快的方向，是函數的一種局部性質；2、負梯度 是函數在點 的最速下降方向。3、梯度向量與過點的等值線（面）的切線方向是正交的。即梯度方向是等值線（面）的法線方向梯度方向是等值線（面）的法線方向；)(kxf)(kx)(kx)(kxf)(kx)(kxfs等值線設s為等值面的切線方向，因為函數沿等值面切線方向的變化率為0，所以 sf 函數局部近似的表達式

7、和平方函數函數局部近似的表達式和平方函數 設n維函數f(X)為至少二次可微且連續的函數，則函數在點 處的Hessian矩陣：矩陣：)(kx )( )(22)(22)(21)(22)(222)(212)(21)(221)(221)(2knknknknkkknkkkkXfxXfxxXfxxXfxxXfxXfxxXfxxXfxxXfxXfXHHessian矩陣式實對稱矩陣。 n維函數f(X) 在點 處的泰勒展開式：泰勒展開式：)(kx)(21)()( ,21,)()(21)()()()()()()()()()()(22)(112)(22)(21)(22)(222)(212)(21)(221)(221

8、)(2)()(22)(11)()(22)(11)(2)(1)()()()(1,)(2)(1)()(kkTkkTkkknnkknknknknkkknkkkknnkkknnkknkkkkkjjkiinjijikkiiniikkXXXHXXXXXfXfxxxxxxxXfxxXfxxXfxxXfxXfxxXfxxXfxxXfxXfxxxxxxxxxxxxxXfxXfxXfXfxxxxxxXfxxxXfXfXf 函數f(X) 在點 附近可以用線性函數或二次（平方）函數來逼近。)(kx)()()()()()(kTkkXXXfXfXf函數f(X) 在 點的泰勒一次（線性）近似函數：)(kx函數f(X) 在

9、點的泰勒二次（平方）近似函數：)(kx)(21)()()()()()()()()(kkTkkTkkXXXHXXXXXfXfXf二次函數二次函數：其中： A為對稱矩陣cBXAXXXfT21)(nnnnnnnnbbbBaaaaaaaaaAxxxX2121222211121121 二次型二次型：njijiijTxxaAXXXf1,)(對任意向量X0，有 為半負定矩陣半負定二次型為負定矩陣負定二次型為半正定矩陣半正定二次型為正定矩陣正定二次型A 0A 0A 0A 0AXXAXXAXXAXXTTTT正定矩陣的判別：正定矩陣的判別：若對稱矩陣A正定，其充要條件是矩陣行列式A的各階主子式的值均大于0；若各階

10、主子式A的值負、正交替變換符號，則A負定。正定二維二次函數的性質正定二維二次函數的性質正定二次函數的一般形式：正定二次函數的一般形式：對正定二次函數有效的算法推廣到一般函數往往是有效的。 cBXAXXXfT21)(正定時，矩陣當例：AhabacxxbhhaxxcbxxhxaxXf 0 0 , 2)( 22121222121 令f(X)=d,取d1d2得到同心的橢圓等值線族，d0,等值線縮微橢圓的中心。1、其等值線是橢圓族，橢圓的中心是函數的極小點。、其等值線是橢圓族，橢圓的中心是函數的極小點。2、橢圓等值線族與平行線族的各切點的連線指向橢圓的中心。、橢圓等值線族與平行線族的各切點的連線指向橢圓

11、的中心。2x1x1c2c1X2X1)(dXf2)(dXf12mxxbah2arctan21為簡化計算，取橢圓的中心過原點，兩等值線的橢圓方程：2222121122212122dcbxxhxaxdcbxxhxax過原點作直線，其方程：12mxx對橢圓方程的X1求導： , 02)(22221221212222121常數得：帶入在交點處有：得：bmhhmaxxmxxbxhxhxaxxxbxxxxhax2x1x1c2c1X2X1)(dXf2)(dXf12mxxbah2arctan21 是橢圓切線的斜率，在交點處橢圓切線的斜率相等，即等值線各交點處的切線為一平行線族等值線各交點處的切線為一平行線族。2x

12、由該性質知：由該性質知： 只要沿任意兩個平行向量方向求出函數f(X)的極小點和 ，它們是橢圓族中某兩個橢圓與二平行線的切點;則過此兩點的連線必通過橢圓的中心，即沿 方向進行搜索，就可找出f(X)的極小點。1X2X21XX函數的凸性函數的凸性 優化設計的結果是全局最優還是局部最優與函數的凸性有關。 對一維函數，若在區間內是下凸且為單峰，則它在區間內必有唯一的極小點。稱函數為具有凸性的函數。)( xfxba凸集：凸集： 設D為維歐氏空間中點的集合，若其中任意兩點 和 的連線都屬于集合D，則稱D為n維歐氏空間中的一個凸集。)1(X)2(X2x1xX)1(X)2(X)()1()2(XX)2()1()1

13、(XXX 、 兩點之間連接直線的數學表達式： 為0到1之間的任意實數。)1(X)2(X)2()1()1()2()2()1 ()( XXXXXX)1(X)2(X凸集)1(X)2(X非凸集)( xf)1(X)2(X凸函數凸函數 設 為定義在n維歐氏空間中的一個凸集D上的函數，如果對任意0到1之間的實數和對D中任意兩點 、 恒有：則函數是定義在凸集D上的一個凸函數。)()1()()1(2)1(2)1(XfXfXXf一維凸函數的幾何意義一維凸函數的幾何意義)( kx)( xfx)2(x)1(xy)2()1()()1(xxxk)10( , )1()2()()2(xxxxk或：yxfxfxfyxxxxxf

14、yxfxfkk)( )()1()(1)()()( )()2()1()()2()1()2()2()2()1(對凸函數：由圖：凸函數兩點間的線性插值凸函數兩點間的線性插值y大于或等于原函大于或等于原函數的值數的值)()( kxf凸函數的性質凸函數的性質1、有限個凸函數的非負線性組合 仍為凸函數；2、凸函數的任一極小點就是它的全域極小點；3、嚴格凸函數的極值點是唯一的；4、凸函數的全體極小點構成凸集。)()()()(2211XfXfXfXfmm推知：推知：若為凸函數的兩個極小點，則其連線上的點均為極小點。凸函數的判定凸函數的判定1、一階充要條件、一階充要條件 若 為定義在D1上且具有連續一階導數的函

15、數，且D又是D1內部的一個凸集，則 為D上的凸函數的充分必要條件是：對任意兩點 ，恒有)( Xf)()()()()1()1(2)1()2(XfXXXfXfT)( XfDXX)2()1(,)( Xf2、二階充要條件、二階充要條件 若 為定義在D1上的函數，而D又是D1內部的一個凸集，設 在D上有連續二階導數， 則 為D上的凸函數的充分必要條件是 的二階偏導數矩陣，即Hessian矩陣 處處半正定。)()(2XHXf)( Xf)( Xf)( Xf約束集合約束集合所有不等式約束和等式約束的交集，即可行域可行域 pvvmuuXhXgG110)(0)(npvXhmuXgXDvu,2,1 0)( ,2,1

16、 0)(，凸規劃理論證明凸規劃理論證明:1、若各個不等式約束為凸函數和等式約束為線性函數，則可行域是凸集。2、不等式約束都是線性函數時，其可行域必為凸集。3、只要等式約束是非線性的，可行域一定是非凸集。01)(0)(0)(222132211xxXgxXgxXg對于二維問題，當約束條件為：2x1x0)(1Xg0)(2Xg0)(3Xg凸集2x1x0)(1Xg0)(2Xg0)(3Xg非凸集2x1x0)(1Xg0)(2Xg0)(Xh起作用的約束和松弛約束起作用的約束和松弛約束2x1x0)(Xg0)(Xg0)(Xh可行域不可行域) 1 (X) 2(X對設計點DXk)(為邊界點為起作用的約束，為內點為松弛

17、約束，(k)(k)(X )( 0)(X )( 0)(XgXgXgXgukuuku任何一個等式約束均為起作用的約束（緊約束）。一個設計點同時有幾個緊約束時，可以定義起作用的約束集合為起作用的約束集合為：ruXguXIkuk, 2 , 1 0)( )()()(可行方向和可行下降方向可行方向和可行下降方向F(X)沿S方向的變化率：),cos(),cos(sffsfsfsfsfT恒定值)( 90 0)( 180-90 0)( 900 00o00XfsfXfsfXfsfTTTffSSg(X)沿S方向的變化率：),cos(),cos(sggsgsgsgsgT設約束條件為g(X)0 90 0 )( 180-

18、90 0 )( 900 00000sgXgsgXgsgTTT若X為邊界點，違反約束方向若X為邊界點，滿足約束方向S為g(X)的切線方向可行方向可行方向對 ，及任意的（01)，若存在S方向，使 ，則S為可行方向。1、對可行域內的點，任何方向均為可行方向。2、對邊界點，可行方向必須滿足條件：DXk)(DSXXkkk)()()1(2x1xgS0SgT可行下降方向S應滿足： 1、內點：2、對邊界點:可行下降方向可行下降方向0)()(SXfTk0)(0)()()(SXgSXfTkTk0)(XggSf無約束問題最優解的最優性條件（極值條件）無約束問題最優解的最優性條件（極值條件）1、對于一元函數， 為極值

19、點的 必要條件：必要條件： 充分條件：充分條件：*X0)(*Xf0)(0)(*XfXf極小點極大點約束問題最優解的最優性條件約束問題最優解的最優性條件最優性條件最優性條件(對局部最優點) 在滿足全部約束條件下，其目標函數值最小的點必須滿足的條件。1、最優點是內點，所有約束不起支配作用，F(X)的無約束極值點也是約束極值點。2、最優點是邊界點, 為約束最優點的必要條件是不存在可行下降方向。*X0)(*Xf)()(*2*XfXH2、對于多元函數， 為極值點必要條件必要條件：充分條件：充分條件： 正（負）定*X)(kX0)(XggSf1x2x不是約束最優點)(kX2x1xfSg)(kX是約束最優點)

20、(kX 從幾何圖形可以看出， 是約束最優點時，約束函數的梯度向量與目標函數的負梯度向量重合，其最優解的條件可以表示為：0 )()(*，XgXf)(kX只有一個起作用約束的情況f1g2gS0)(1Xg0)(2Xg)(kX不是約束最優點)(kXf1g2gS0)(1Xg0)(2Xg)(kX是約束最優點)(kX 從幾何圖形可以看出， 是約束最優點時，目標函數的負梯度向量可表示為兩個約束函數的梯度向量的線性組合，其最優解的條件可以表示為：00, )()()(21*22*11*，XgXgXf)(kX二個起作用約束的情況約束優化設計問題局部最優點的約束優化設計問題局部最優點的K-T（Kuhn-Tucker)

21、條件：條件： 設某個設計點 ，起作用約束集合為 ，且 為線性獨立，則 成為約束最優點的必要條件必要條件是：目標函數的負梯度向量表示為約束梯度的線性組合，即)(kX, 2 , 1, 0)()()()(ruXguXIkuk)(),()()(kkuXIuXg)(0, )()()()()()()(kukuXIuukXIuXgXfk，且推廣到n維設計空間的具有m個不等式約束的情況 只有當目標函數在約束集合內為凸函數，約束集合是凸集時，KT條件是局部最優點的充要條件，也是全域最優點的充要條件。K-T條件對約束問題的重要性：條件對約束問題的重要性：1、可以通過K-T條件檢驗設計點是否為約束最優點，因此它可以成為某些迭代算法的一種收斂條件；2、可以檢驗某種搜索方法是否合理，如果某種迭代方法求得的最優點符合K-T條件，則該方法可以認為是可行的。數值計算迭代法的基本思想：基本思想：“爬山法爬山法”)0(X) 1 (X)0(X) 1 (X優化設計迭代算法示意圖迭代格式：迭代格式：或：或：, 2 , 1,)()()() 1(