課件下載郵箱郵箱名：

xdgongchengyouhua@126.com(xd+工程優化的小寫全拼)密碼：xidian123多元函數的梯度及其Hesse矩陣等高線二次函數多元函數的極值及其判別條件凸集、凸函數、凸規劃幾個重要的不等式第2章基礎知識

由一元函數的幾何圖形知：f(x)是凸函數，任意給定曲線上兩點A，B，則弦AB在與弧AB之上，用數學式子表示：

凸函數弦AB的方程：令則上式可寫為：所以：

定義（凸函數）:

設集合DRn為凸集，函數f:DR,若

α(0,1)，均有則稱f(x)為凸集D上的凸函數。若進一步有上面不等式以嚴格不等式成立，則稱f(x)為凸集D上的嚴格凸函數。當-f(x)為凸函數(嚴格凸函數)時，則稱f(x)為凹函數

(嚴格凹函數)。嚴格凸函數凸函數嚴格凹函數凸函數----推廣到多元函數例：設1)若A半正定，則在上是凸函數；2)若A正定，則在上是嚴格凸函數。證明:

凸函數----推廣到多元函數性質2：設f1,f2

是凸集D上的凸函數，設a,b>0,則af1+bf2

是凸函數；f(x)=max{f1(x),f2

(x)}是凸函數。思考：af1

-bf2

是否是凸函數？

g(x)=min{f1(x),f2

(x)}是否是凸函數？凸函數的性質性質1：

f(x)

為凸集S上的凸函數S上任意有限點的凸組合的函數值不大于各點函數值的凸組合。

證明參見文中定理2.10的證明。P39作業定理(一階條件):

設D

Rn為非空凸集，函數f:DR

在D上可微，則

(1)f在D上為凸函數

恒有

(1)(2)

f在D上為嚴格凸函數

恒有

(2)

證明:見書中定理2.11(P27)凸函數的判定定理定理5（二階條件）:

設D

Rn為含有內點的非空凸集，函數f:DR在D上二次可微，則

a)f在D上為凸函數xD，2f(x)

半正定；

b)若xD，2f(x)

正定，則f在D上為嚴格凸函數。證明:見書中定理2.12（P28）由一階條件和多元函數的泰勒展開式可證。回憶：一個矩陣半正定充要條件是所有主子式非負；一個矩陣正定充要條件是所有順序主子式為正。凸函數的判定定理例：設二次函數(1)：若為半定矩陣，在中為凸函數；(2)：若為正定矩陣，在中為嚴格凸函數。例：判斷f(x)=5x12-6x1x2+5x22在凸集D上是否是凸函數？凸函數的判定定理的順序主子式都是正的，所以正定，因此f(x)在凸集D上是嚴格凸函數。由于故證明為凸函數。也是凸函數。根據性質2，為凸函數。

看下述各式是否成立：證明：首先用定義證明是凸函數，即對任意和例:

試證明為凹函數。或即顯然，不管和

取什么值，總有為凹函數。

因此

從而用同樣的方法可以證明用一階條件證明只需證任意選取兩點或或或不管a1、a2、b1、b2取什么值，上式均成立，從而得證。是凹函數，

要證

例:

試證明為凹函數。其Hesse矩陣處處負定，故為(嚴格)凹函數。

下面用二階條件證明:由于例:

試證明為凹函數。定義（凸規劃）:

考慮如下非線性規劃當都是凸函數時,稱規劃為凸規劃凸規劃性質1:

設(1)為凸規劃，則

i)(1)的可行集是凸集；

ii)(1)的最優解集是凸集；

iii)(1)的任何局部極小點都是全局極小點。

證明：見書中定理2.13.性質2:

設(1)為凸規劃，若f(x)在非空可行集R上是嚴格凸函

數，則(1)的全局極小點是唯一的。

證明：見書中定理2.14.注:

非線性規劃的局部最優解不一定是全局最優解,其可行解和最優解集也不一定是凸集,甚至不是連通集.如果是凸規劃,就有很多好的性質。凸規劃的性質性質3：設(1)為凸規劃，則為(1)的最優解

的充要條件為：，有利用凸函數的一階判別條件（證明參見文中定理2.15）凸規劃的性質多胞形：有限個點的凸包閉半空間是凸的多面體、極點、極方向閉半空間：稱為正閉半空間;稱為負閉半空間;H+和H-統稱為閉半空間。多面體：有限個閉半空間的交多面體的極點（頂點）：多面體、極點、極方向

對任意xS，不存在S

中的另外兩個點x1和x2，及極方向：方向d

不能表示為兩個不同方向的組合使方向：xS,dRn,d

0及總有時，稱d1和d2同方向。當定理（極點特征）設A

滿秩，x

是S極點的充分必要條件是:存在分解A=[B,N]，其中B為m階非奇異矩陣，使xT=[xBT,xNT],這里xB=B-1b≥0,xN=0.S中必存在有限多個極點。(≤Cnm)定理（極方向特征）設A=[p1,p2,…,pn]滿秩，d

是S

極方向的充分必要條件是:存在分解A=[B,N]，其中B為m階非奇異矩陣，對于N中的列向量pj

使B-1pj≤0,dT=[dBT,dNT],dB=-B-1pj

,

dN=(0,...,1,…,0)TS中必存在有限多個極方向。(≤(n-m)Cnm)多面體S={xRnAx=b,x≥0}的極點和極方向定理（表示定理）考慮上述多面體S，設A滿秩，

為所有極點，

為所有極方向。那么，對于xS，且多面體S={xRnAx=b,x≥0}的極點和極方向使

一個凸集有非空的相對內部；一個凸集是連通的并且在任意點具有可行方向；一個多面體的凸集可以由一個有限的極點和極方向的集合來刻畫；凸集上凸函數的全局極小值的存在可以非常方便的按照收縮方向來描述；為什么凸在最優化中如此特殊

一個凸函數的局部極小點都是全局極小點；一個非凸函數可以被“凸化的”同時保持了全局極小值的最優性；一個凸函數是連續的并且具有良好的可微性；閉凸錐關于極是自對偶的；凸且下半連續的函數關于共軛是自對偶的。為什么凸在最優化中如此特殊向量運算：x,yRn

x,y

的內積：<x,y>=xTy=xiyi=x1y1+x2y2+…+xnyn

x,y

的距離：‖x-y‖=[(x-y)T(x-y)](1/2)x

的長度：‖x‖=[xTx](1/2)

三角不等式：‖x+y‖≤‖x‖+‖y‖

定理（Cauchy-Schwarz不等式）重要的不等式定理1設A為n階對稱正定矩陣，則，恒有等號成立當且僅當x與線性相關;

等式成立當且僅當x

與y線性相關。其中表示向量的內積。定理3：設A為n階對稱正定矩陣，m與M分別為A的最小與最大特征值，則，恒有定理2：設A為n階對稱正定矩陣，m與M分別為A的最小與最大特征值，則，恒有

重要的不等式1/M與

1/m分別為A-1的最小與最大特征值范數

（A正定）橢球范數范數

范數

范數

范數----向量范數定義1：方陣A的范數是指與A相關聯并記做的一個非負數，它具有下列性質：對于都有，而時；對于任意，都有；；；若還進一步滿足：則稱之為與向量范數相協調（相容）的方陣范數.

范數----矩陣范數定義2:設與是上的兩個范數，若存在，使得，則稱范數與是等價的。容易證明：其中是的最大特征值，而是的最小特征值。范數----范數等價中所有向量范數均等價。Cauchy-Schwarz不等式

當且僅當與線性相關時，等式成立。關于范數的幾個重要不等式定理（Cauchy-Schwarz不等式）

等式成立當且僅當x

與y線性相關。當且僅當與線性相關時，等式成立。關于范數的幾個重要不等式定理4：設A是正定矩陣，則當且僅當與線性相關時，等式成立。Cauchy-Schwarz不等式

設A是n階正定矩陣，則等號成立當且僅當與線性相關。關于范數的幾個重要不等式定理1設A為n階對稱正定矩陣，則，恒有等號成立當且僅當x與線性相關;定理5：Young不等式：假定p與q都是大于1的實數，且滿足，則，有

當且僅當時，等式成立。關于范數的幾個重要不等式H?lder不等式其中p與q都是大于1的實數，且滿足.Minkowski不等式

關于范數的幾個重要不等式

定義3（序列收斂）：設是中的一個向量序列，，如果，存在正整數K，使得當時，有，則稱序列收斂到