習題一考慮二次函數f(x)=寫出它的矩陣—向量形式:f(x)=矩陣Q是不是奇異的?證明:f(x)是正定的f(x)是凸的嗎?寫出f(x)在點=處的支撐超平面(即切平面)方程解:1)f(x)==+其中 x=,Q=,b=2)因為Q=,所以|Q|==8>0即可知Q是非奇異的3)因為|2|>0,=8>0,所以Q是正定的,故f(x)是正定的4)因為=,所以||=8>0,故推出是正定的,即是凸的5)因為=,所以=(5,11)所以f(x)在點處的切線方程為5()+11()=0二、求以下函數的梯度問題和Hesse矩陣1)f(x)=2++2)f(x)=ln(+)解:1)=(,)=2)=(,)=設f(x)=,取點.驗證=(1,0,-1)是f(x)在點處的一個下降方向,并計算f(+t)證明:=d=(1,0,-1)=-3<0所以是f(x)在處的一個下降方向f(+t)=f((1+t,1,1-t))=f(+t)=6t-3=0所以t=0.5>0所以f(+t)=3*0.25-3*0.5+4=3.25設，b，〔j=1,2,….,n〕考慮問題Minf(x)=s.t.(j=1,2,….,n)寫出其KuhnTuker條件證明問題最優值是解：1〕因為目標函數的分母故所以〔j=1,…,n〕都為0所以KuhnTuker條件為即+=02〕將代入h(x)=0只有一點得故有所以最優解是五、使用KuhnTuker條件，求問題minf(x)=s.t.的KuhnTuker點，并驗證此點為問題的最優解解：x=(1/2,3/2)故，=0那么即而故即其為最優解六、在習題五的條件下證明L()其中L〔x,〕=f(x)+證明：L()=f()+=f()=f()++2)==f()=)習題二設f(x)為定義在區間[a,b]上的實值函數，是問題min{f(x)|a}的最優解。證明：f(x)是[a,b]上的單谷函數的充要條件是對任意滿足f()<max{f(),f()},證明：不妨設<,那么<“必要性”假設那么由單谷函數定義知故有“充分性”由，的任意性取=時，f()>f()那么>>=且f()<f()假設取=時,f()>f()=<<且f()<f()滿足單谷函數的定義二、設<,1)證明:滿足條件的二次函數是〔嚴格〕凸函數2〕證明：由二次插值所得f(x)的近似極小值點〔即的駐點〕是或者證明：1〕設=〔〕那么由得或故1〕得證2〕的駐點為或三、設f(x)=試證：共軛梯度法的線性搜索中，有，其中證明：由，得令為t的凸二次函數。要使是的極小點即為駐點，故滿足而===故有得四、用共軛梯度法求解：minf(x)=,x取初始點解：易知第一次迭代：線性搜索得步長從而=第二次迭代：線性搜索得步長：所以最優解為用擬Newton法求解：min取初始點解：1〕DFC法取初始對稱矩陣第一次迭代：計算得，經一維線性搜索得：=0.25置第二次迭代經一維線性搜索得：=6.25故最優解為：2〕BFGS法取定初始對稱矩陣第一次迭代：計算得，經一維線性搜索得：=0.25同DFP法，初始修正矩陣第二次迭代：經一維線性搜索得：故最優解為：習題三給定問題mins.t.取初始點，用簡約梯度法求其最優解解：約束條件為那么，==得得故為問題的K-T點用梯度投影法求解問題mins.t.取初始點解：迭代〔1〕投影矩陣故故投影矩陣令故為其 K-T 點3、用可行方向法求解問題mins.t.取初始點解：迭代一：有效約束確定下降方向min-4s.t.i=1,2解得且其最優值為-6，即處的搜索方向線性搜索而迭代2：有效約束確定下降方向min-s.t.i=1,2得且其最優值為-2線性搜索而迭代3：有效約束確定下降方向min-s.t.i=1,2得，其最優值為-