1、機(jī)械優(yōu)化設(shè)計(jì)機(jī)械優(yōu)化設(shè)計(jì)目標(biāo)函數(shù)和約束函數(shù)的基本性質(zhì)目標(biāo)函數(shù)和約束函數(shù)的基本性質(zhì)約束函數(shù)的集合及性質(zhì)約束函數(shù)的集合及性質(zhì)優(yōu)化問題的最優(yōu)解及其最優(yōu)性條件優(yōu)化問題的最優(yōu)解及其最優(yōu)性條件優(yōu)化問題的數(shù)值解法及收斂條件優(yōu)化問題的數(shù)值解法及收斂條件函數(shù)的等值面（線）函數(shù)的等值面（線）當(dāng)a0,c0和ac-bb0時(shí)，是正定二元二次函數(shù)正定二元二次函數(shù)，其等值線其等值線為一族橢圓線，為一族橢圓線，橢圓線族的中心橢圓線族的中心是函數(shù)的極小點(diǎn)是函數(shù)的極小點(diǎn)。2x1x1c2c 2)(2121212221xxcbbaxxxbxcxaxXf2x1x)(XF1c2c 522)(1222122141xxxxxxXf較高次的非

2、線性函數(shù)較高次的非線性函數(shù)，如：*x2x1x 函數(shù)的等值線在極小點(diǎn)也呈現(xiàn)出近似橢圓形狀，因?yàn)楦叽魏瘮?shù)在該點(diǎn)處可以近似的用泰勒二次公式展開成為正定二次函數(shù)。 22245.44)(22141221222121xxxxxxxxxXf較高次的非線性函數(shù)較高次的非線性函數(shù)，如：函數(shù)有兩個(gè)極小點(diǎn)和一個(gè)鞍點(diǎn)*1x*2x2x1x*3x對于二元二次函數(shù)對于二元二次函數(shù)。，其等值線為拋物線族若其等值線為雙曲線族；，若，其等值線為橢圓族；若 0 0 0 ,2)(22221222121bacbacbacfexdxcxxbxaxXf 當(dāng)目標(biāo)函數(shù)為線性函數(shù)時(shí)，其等值線為平行線族。 這一概念完全可以推廣到這一概念完全可以推

3、廣到n維設(shè)計(jì)問題的分析中。維設(shè)計(jì)問題的分析中。 等值線（面）的分布規(guī)律，反映出目標(biāo)函數(shù)的變化規(guī)律。等值線（面）的分布規(guī)律，反映出目標(biāo)函數(shù)的變化規(guī)律。從等值線的分布情況可以看出從等值線的分布情況可以看出:1、等值線愈內(nèi)層，其函數(shù)值愈小；2、在等值線較密的部位其函數(shù)值的變化較大；3、對于有心的等值線，其等值線族的中心就是一個(gè)局部最小點(diǎn)；4、函數(shù)的非線性程度愈嚴(yán)重，其等值線的形狀愈復(fù)雜，且可存在多個(gè)局部極小點(diǎn)；5、嚴(yán)重非線性函數(shù)的等值線族嚴(yán)重偏心和扭曲，其分布疏密不一，就成為所謂的“病態(tài)函數(shù)“。函數(shù)的最速下降方向函數(shù)的最速下降方向1、函數(shù)的方向?qū)?shù)和梯度、函數(shù)的方向?qū)?shù)和梯度連續(xù)可微n維函數(shù) 在某點(diǎn)

4、 處的一階偏導(dǎo)數(shù)為：它表示函數(shù) 值在點(diǎn) 沿各坐標(biāo)軸方向的變化率。,)0(2)0(1)0(nxXfxXfxXf)()0(Xf)0(X)()0(Xf)0(X梯度梯度：TnxXfxXfxXfXf)0(2)0(1)0(0,方向?qū)?shù)方向?qū)?shù)函數(shù)沿任意S方向的變化率。2x1x1x2xS21)0(X)1(X22212)0(21)0(1)1()0(2)0(1)0(,xxxxxxXxxX方向?qū)?shù)：方向?qū)?shù)：)0(2)0(12)0(21)0(10)0(,limxxfxxxxfsXf22)0(11)0(22)0(11)0(22)0(2)0(12)0(2)0(1112)0(2)0(12)0(21)0(10cos)(c

5、os)()()(, ,limxXfxXfxxXfxxXfxxxxfxxxfxxxxxfxxxxf2x1x1x2xS21)0(X)1(X212)0(1)0(22)0(11)0()0(coscos)(,)(cos)(cos)()(xXfxXfxXfxXfsXf cos,coscoscosT2121sS的方向余弦：函數(shù)的方向?qū)?shù)等于函數(shù)梯度在該方向上的投影函數(shù)的方向?qū)?shù)等于函數(shù)梯度在該方向上的投影將函數(shù) 在點(diǎn) 的梯度：簡記為： 方向余弦：TnxXfxXfxXfXf)0(2)0(1)0(0,)()0(Xf)0(XfTnscos,cos,cos21對n維函數(shù)，其方向?qū)?shù)：1coscoscos),cos(

6、),cos(coscoscos,coscoscoscos22221212112211nTnnniiinnssffsfsfsfxfxfxfxfxfxfxfsf),cos(),cos(sffsfsfsfT梯度的性質(zhì)梯度的性質(zhì)：1、梯度 是函數(shù)值在點(diǎn) 上升最快的方向，是函數(shù)的一種局部性質(zhì)；2、負(fù)梯度 是函數(shù)在點(diǎn) 的最速下降方向。3、梯度向量與過點(diǎn)的等值線（面）的切線方向是正交的。即梯度方向是等值線（面）的法線方向梯度方向是等值線（面）的法線方向；)(kxf)(kx)(kx)(kxf)(kx)(kxfs等值線設(shè)s為等值面的切線方向，因?yàn)楹瘮?shù)沿等值面切線方向的變化率為0，所以 sf 函數(shù)局部近似的表達(dá)式

7、和平方函數(shù)函數(shù)局部近似的表達(dá)式和平方函數(shù) 設(shè)n維函數(shù)f(X)為至少二次可微且連續(xù)的函數(shù)，則函數(shù)在點(diǎn) 處的Hessian矩陣：矩陣：)(kx )( )(22)(22)(21)(22)(222)(212)(21)(221)(221)(2knknknknkkknkkkkXfxXfxxXfxxXfxxXfxXfxxXfxxXfxxXfxXfXHHessian矩陣式實(shí)對稱矩陣。 n維函數(shù)f(X) 在點(diǎn) 處的泰勒展開式：泰勒展開式：)(kx)(21)()( ,21,)()(21)()()()()()()()()()()(22)(112)(22)(21)(22)(222)(212)(21)(221)(221

8、)(2)()(22)(11)()(22)(11)(2)(1)()()()(1,)(2)(1)()(kkTkkTkkknnkknknknknkkknkkkknnkkknnkknkkkkkjjkiinjijikkiiniikkXXXHXXXXXfXfxxxxxxxXfxxXfxxXfxxXfxXfxxXfxxXfxxXfxXfxxxxxxxxxxxxxXfxXfxXfXfxxxxxxXfxxxXfXfXf 函數(shù)f(X) 在點(diǎn) 附近可以用線性函數(shù)或二次（平方）函數(shù)來逼近。)(kx)()()()()()(kTkkXXXfXfXf函數(shù)f(X) 在 點(diǎn)的泰勒一次（線性）近似函數(shù)：)(kx函數(shù)f(X) 在

9、點(diǎn)的泰勒二次（平方）近似函數(shù)：)(kx)(21)()()()()()()()()(kkTkkTkkXXXHXXXXXfXfXf二次函數(shù)二次函數(shù)：其中： A為對稱矩陣cBXAXXXfT21)(nnnnnnnnbbbBaaaaaaaaaAxxxX2121222211121121 二次型二次型：njijiijTxxaAXXXf1,)(對任意向量X0，有 為半負(fù)定矩陣半負(fù)定二次型為負(fù)定矩陣負(fù)定二次型為半正定矩陣半正定二次型為正定矩陣正定二次型A 0A 0A 0A 0AXXAXXAXXAXXTTTT正定矩陣的判別：正定矩陣的判別：若對稱矩陣A正定，其充要條件是矩陣行列式A的各階主子式的值均大于0；若各階

10、主子式A的值負(fù)、正交替變換符號(hào)，則A負(fù)定。正定二維二次函數(shù)的性質(zhì)正定二維二次函數(shù)的性質(zhì)正定二次函數(shù)的一般形式：正定二次函數(shù)的一般形式：對正定二次函數(shù)有效的算法推廣到一般函數(shù)往往是有效的。 cBXAXXXfT21)(正定時(shí)，矩陣當(dāng)例：AhabacxxbhhaxxcbxxhxaxXf 0 0 , 2)( 22121222121 令f(X)=d,取d1d2得到同心的橢圓等值線族，d0,等值線縮微橢圓的中心。1、其等值線是橢圓族，橢圓的中心是函數(shù)的極小點(diǎn)。、其等值線是橢圓族，橢圓的中心是函數(shù)的極小點(diǎn)。2、橢圓等值線族與平行線族的各切點(diǎn)的連線指向橢圓的中心。、橢圓等值線族與平行線族的各切點(diǎn)的連線指向橢圓

11、的中心。2x1x1c2c1X2X1)(dXf2)(dXf12mxxbah2arctan21為簡化計(jì)算，取橢圓的中心過原點(diǎn)，兩等值線的橢圓方程：2222121122212122dcbxxhxaxdcbxxhxax過原點(diǎn)作直線，其方程：12mxx對橢圓方程的X1求導(dǎo)： , 02)(22221221212222121常數(shù)得：帶入在交點(diǎn)處有：得：bmhhmaxxmxxbxhxhxaxxxbxxxxhax2x1x1c2c1X2X1)(dXf2)(dXf12mxxbah2arctan21 是橢圓切線的斜率，在交點(diǎn)處橢圓切線的斜率相等，即等值線各交點(diǎn)處的切線為一平行線族等值線各交點(diǎn)處的切線為一平行線族。2x

12、由該性質(zhì)知：由該性質(zhì)知： 只要沿任意兩個(gè)平行向量方向求出函數(shù)f(X)的極小點(diǎn)和 ，它們是橢圓族中某兩個(gè)橢圓與二平行線的切點(diǎn);則過此兩點(diǎn)的連線必通過橢圓的中心，即沿 方向進(jìn)行搜索，就可找出f(X)的極小點(diǎn)。1X2X21XX函數(shù)的凸性函數(shù)的凸性 優(yōu)化設(shè)計(jì)的結(jié)果是全局最優(yōu)還是局部最優(yōu)與函數(shù)的凸性有關(guān)。 對一維函數(shù)，若在區(qū)間內(nèi)是下凸且為單峰，則它在區(qū)間內(nèi)必有唯一的極小點(diǎn)。稱函數(shù)為具有凸性的函數(shù)。)( xfxba凸集：凸集： 設(shè)D為維歐氏空間中點(diǎn)的集合，若其中任意兩點(diǎn) 和 的連線都屬于集合D，則稱D為n維歐氏空間中的一個(gè)凸集。)1(X)2(X2x1xX)1(X)2(X)()1()2(XX)2()1()1

13、(XXX 、 兩點(diǎn)之間連接直線的數(shù)學(xué)表達(dá)式： 為0到1之間的任意實(shí)數(shù)。)1(X)2(X)2()1()1()2()2()1 ()( XXXXXX)1(X)2(X凸集)1(X)2(X非凸集)( xf)1(X)2(X凸函數(shù)凸函數(shù) 設(shè) 為定義在n維歐氏空間中的一個(gè)凸集D上的函數(shù)，如果對任意0到1之間的實(shí)數(shù)和對D中任意兩點(diǎn) 、 恒有：則函數(shù)是定義在凸集D上的一個(gè)凸函數(shù)。)()1()()1(2)1(2)1(XfXfXXf一維凸函數(shù)的幾何意義一維凸函數(shù)的幾何意義)( kx)( xfx)2(x)1(xy)2()1()()1(xxxk)10( , )1()2()()2(xxxxk或：yxfxfxfyxxxxxf

14、yxfxfkk)( )()1()(1)()()( )()2()1()()2()1()2()2()2()1(對凸函數(shù)：由圖：凸函數(shù)兩點(diǎn)間的線性插值凸函數(shù)兩點(diǎn)間的線性插值y大于或等于原函大于或等于原函數(shù)的值數(shù)的值)()( kxf凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)1、有限個(gè)凸函數(shù)的非負(fù)線性組合 仍為凸函數(shù)；2、凸函數(shù)的任一極小點(diǎn)就是它的全域極小點(diǎn)；3、嚴(yán)格凸函數(shù)的極值點(diǎn)是唯一的；4、凸函數(shù)的全體極小點(diǎn)構(gòu)成凸集。)()()()(2211XfXfXfXfmm推知：推知：若為凸函數(shù)的兩個(gè)極小點(diǎn)，則其連線上的點(diǎn)均為極小點(diǎn)。凸函數(shù)的判定凸函數(shù)的判定1、一階充要條件、一階充要條件 若 為定義在D1上且具有連續(xù)一階導(dǎo)數(shù)的函

15、數(shù)，且D又是D1內(nèi)部的一個(gè)凸集，則 為D上的凸函數(shù)的充分必要條件是：對任意兩點(diǎn) ，恒有)( Xf)()()()()1()1(2)1()2(XfXXXfXfT)( XfDXX)2()1(,)( Xf2、二階充要條件、二階充要條件 若 為定義在D1上的函數(shù)，而D又是D1內(nèi)部的一個(gè)凸集，設(shè) 在D上有連續(xù)二階導(dǎo)數(shù)， 則 為D上的凸函數(shù)的充分必要條件是 的二階偏導(dǎo)數(shù)矩陣，即Hessian矩陣 處處半正定。)()(2XHXf)( Xf)( Xf)( Xf約束集合約束集合所有不等式約束和等式約束的交集，即可行域可行域 pvvmuuXhXgG110)(0)(npvXhmuXgXDvu,2,1 0)( ,2,1

16、 0)(，凸規(guī)劃理論證明凸規(guī)劃理論證明:1、若各個(gè)不等式約束為凸函數(shù)和等式約束為線性函數(shù)，則可行域是凸集。2、不等式約束都是線性函數(shù)時(shí)，其可行域必為凸集。3、只要等式約束是非線性的，可行域一定是非凸集。01)(0)(0)(222132211xxXgxXgxXg對于二維問題，當(dāng)約束條件為：2x1x0)(1Xg0)(2Xg0)(3Xg凸集2x1x0)(1Xg0)(2Xg0)(3Xg非凸集2x1x0)(1Xg0)(2Xg0)(Xh起作用的約束和松弛約束起作用的約束和松弛約束2x1x0)(Xg0)(Xg0)(Xh可行域不可行域) 1 (X) 2(X對設(shè)計(jì)點(diǎn)DXk)(為邊界點(diǎn)為起作用的約束，為內(nèi)點(diǎn)為松弛

17、約束，(k)(k)(X )( 0)(X )( 0)(XgXgXgXgukuuku任何一個(gè)等式約束均為起作用的約束（緊約束）。一個(gè)設(shè)計(jì)點(diǎn)同時(shí)有幾個(gè)緊約束時(shí)，可以定義起作用的約束集合為起作用的約束集合為：ruXguXIkuk, 2 , 1 0)( )()()(可行方向和可行下降方向可行方向和可行下降方向F(X)沿S方向的變化率：),cos(),cos(sffsfsfsfsfT恒定值)( 90 0)( 180-90 0)( 900 00o00XfsfXfsfXfsfTTTffSSg(X)沿S方向的變化率：),cos(),cos(sggsgsgsgsgT設(shè)約束條件為g(X)0 90 0 )( 180-

18、90 0 )( 900 00000sgXgsgXgsgTTT若X為邊界點(diǎn)，違反約束方向若X為邊界點(diǎn)，滿足約束方向S為g(X)的切線方向可行方向可行方向?qū)?，及任意的（01)，若存在S方向，使 ，則S為可行方向。1、對可行域內(nèi)的點(diǎn)，任何方向均為可行方向。2、對邊界點(diǎn)，可行方向必須滿足條件：DXk)(DSXXkkk)()()1(2x1xgS0SgT可行下降方向S應(yīng)滿足： 1、內(nèi)點(diǎn)：2、對邊界點(diǎn):可行下降方向可行下降方向0)()(SXfTk0)(0)()()(SXgSXfTkTk0)(XggSf無約束問題最優(yōu)解的最優(yōu)性條件（極值條件）無約束問題最優(yōu)解的最優(yōu)性條件（極值條件）1、對于一元函數(shù)， 為極值

19、點(diǎn)的 必要條件：必要條件： 充分條件：充分條件：*X0)(*Xf0)(0)(*XfXf極小點(diǎn)極大點(diǎn)約束問題最優(yōu)解的最優(yōu)性條件約束問題最優(yōu)解的最優(yōu)性條件最優(yōu)性條件最優(yōu)性條件(對局部最優(yōu)點(diǎn)) 在滿足全部約束條件下，其目標(biāo)函數(shù)值最小的點(diǎn)必須滿足的條件。1、最優(yōu)點(diǎn)是內(nèi)點(diǎn)，所有約束不起支配作用，F(xiàn)(X)的無約束極值點(diǎn)也是約束極值點(diǎn)。2、最優(yōu)點(diǎn)是邊界點(diǎn), 為約束最優(yōu)點(diǎn)的必要條件是不存在可行下降方向。*X0)(*Xf)()(*2*XfXH2、對于多元函數(shù)， 為極值點(diǎn)必要條件必要條件：充分條件：充分條件： 正（負(fù)）定*X)(kX0)(XggSf1x2x不是約束最優(yōu)點(diǎn))(kX2x1xfSg)(kX是約束最優(yōu)點(diǎn))

20、(kX 從幾何圖形可以看出， 是約束最優(yōu)點(diǎn)時(shí)，約束函數(shù)的梯度向量與目標(biāo)函數(shù)的負(fù)梯度向量重合，其最優(yōu)解的條件可以表示為：0 )()(*，XgXf)(kX只有一個(gè)起作用約束的情況f1g2gS0)(1Xg0)(2Xg)(kX不是約束最優(yōu)點(diǎn))(kXf1g2gS0)(1Xg0)(2Xg)(kX是約束最優(yōu)點(diǎn))(kX 從幾何圖形可以看出， 是約束最優(yōu)點(diǎn)時(shí)，目標(biāo)函數(shù)的負(fù)梯度向量可表示為兩個(gè)約束函數(shù)的梯度向量的線性組合，其最優(yōu)解的條件可以表示為：00, )()()(21*22*11*，XgXgXf)(kX二個(gè)起作用約束的情況約束優(yōu)化設(shè)計(jì)問題局部最優(yōu)點(diǎn)的約束優(yōu)化設(shè)計(jì)問題局部最優(yōu)點(diǎn)的K-T（Kuhn-Tucker)

21、條件：條件： 設(shè)某個(gè)設(shè)計(jì)點(diǎn) ，起作用約束集合為 ，且 為線性獨(dú)立，則 成為約束最優(yōu)點(diǎn)的必要條件必要條件是：目標(biāo)函數(shù)的負(fù)梯度向量表示為約束梯度的線性組合，即)(kX, 2 , 1, 0)()()()(ruXguXIkuk)(),()()(kkuXIuXg)(0, )()()()()()()(kukuXIuukXIuXgXfk，且推廣到n維設(shè)計(jì)空間的具有m個(gè)不等式約束的情況 只有當(dāng)目標(biāo)函數(shù)在約束集合內(nèi)為凸函數(shù)，約束集合是凸集時(shí)，KT條件是局部最優(yōu)點(diǎn)的充要條件，也是全域最優(yōu)點(diǎn)的充要條件。K-T條件對約束問題的重要性：條件對約束問題的重要性：1、可以通過K-T條件檢驗(yàn)設(shè)計(jì)點(diǎn)是否為約束最優(yōu)點(diǎn)，因此它可以成為某些迭代算法的一種收斂條件；2、可以檢驗(yàn)?zāi)撤N搜索方法是否合理，如果某種迭代方法求得的最優(yōu)點(diǎn)符合K-T條件，則該方法可以認(rèn)為是可行的。數(shù)值計(jì)算迭代法的基本思想：基本思想：“爬山法爬山法”)0(X) 1 (X)0(X) 1 (X優(yōu)化設(shè)計(jì)迭代算法示意圖迭代格式：迭代格式：或：或：, 2 , 1,)()()() 1(