，為約束函數，。滿?最優化數學模型中的所有約束條件就稱為可?點(FeasiblePoint)，所有可?點的全體稱為可?域(Feasible表?。在?個可?點的邊界；如果有，就稱不等式約束在點，如果沒有?個不等式約束是有效的，就稱是可?域的內點，不滿?，如果存在?個鄰域成?，則稱為最優化問題的局部最優解，其中，如果存在?個鄰域和和為等式約束，和考慮不等式約束，則稱為最優化問題的全局最優解（或總體最優解）；如果可?點是?個?的正數；對于可使得則是局部極?解，其中為連續函數，通常還要求連續可微。稱為決策變量，為不等式約束，并記等式約束的指標集為分別是英?單詞minimize(極?化)和subjectto(受約束)的縮寫。，如果有滿?成?，則稱為最優化問題的嚴格局部最優解。如下圖所是嚴格局部極?解，?為?標函，就稱不等式約束是?嚴格局部極?解。（注：在點附近有?段線考慮不等式約束是

最優化問題簡介，為約束函數，。滿?最優化數學模型中的所有約束條件就稱為可?點(FeasiblePoint)，所有可?點的全體稱為可?域(Feasible表?。在?個可?點的邊界；如果有，就稱不等式約束在點，如果沒有?個不等式約束是有效的，就稱是可?域的內點，不滿?，如果存在?個鄰域成?，則稱為最優化問題的局部最優解，其中，如果存在?個鄰域和和為等式約束，和考慮不等式約束，則稱為最優化問題的全局最優解（或總體最優解）；如果可?點是?個?的正數；對于可使得則是局部極?解，其中為連續函數，通常還要求連續可微。稱為決策變量，為不等式約束，并記等式約束的指標集為分別是英?單詞minimize(極?化)和subjectto(受約束)的縮寫。，如果有滿?成?，則稱為最優化問題的嚴格局部最優解。如下圖所是嚴格局部極?解，?為?標函，就稱不等式約束是?嚴格局部極?解。（注：在點附近有?段線考慮不等式約束是

題?：最優化問題簡介

?年多學習以來，?論是前?學習壓縮感知，還是這半年學習機器學習，?直離不開最優化，?如壓縮感知的基追蹤類重構算法，核?問題就是?個優化問題，?機器學習中的很多算法也需要最優化的知識，?如?持向量機算法。看來必須得把最優化的基本內容學習?下了，不求理解的有多么深，?少要知道怎么?。其實前?已經寫過?篇與最優化相關的內容了，就是《》這篇。

從本篇起，開始學習?些有關最優化的基礎知識，重點是了解概念和如何應?。本篇是參考?獻第1.1節的?個摘編或總結，主要是把?些概念集中起來，可以隨時查閱。

1、?般形式

最優化問題的數學模型的?般形式為（以下稱為最優化數學模型）：

其中數，，不等式約束的指標集為

2、概念

如果點Region)，?有效約束或起作?約束(activeconstraint)，并稱可?點位于約束是?效約束或不起作?約束(inactiveconstraint)；對于?個可?點是內點的可?點就是可?域的邊界點。顯然在邊界點?少有?個不等式約束是有效約束，當存在等式約束時，任何可?點都要滿?等式約束，因此不可能是等式約束的內點。如果?個可?點，則稱為最優化問題的嚴格全局最優解（或嚴格總體最優解）；對于可?點

使得?點?，點是嚴格全部極?解，是?平的）

?般常見的最優化?法只適?于確定最優化問題的局部最優解，有關確定全局最優解的最優化?法屬于最優化問題的另?個領域——全局最優化。然?，如果最優化問題的?標函數是凸的，?可?域是凸集，則問題的任何最優解（不?定唯?）必是全局最優解，這樣的最優化問題?稱為凸規劃。進?步，對于凸集上的嚴格凸函數的極?化問題，存在唯?的全局最優解。

3、分類

1）約束最優化問題

只要在問題中存在任何約束條件，就稱為約束最優化問題。

只有等式約束時，稱為等式約束最優化問題，數學模型為：

只有不等式約束時，稱為不等式約束最優化問題，數學模型為：

。矩陣向量形式為，為半正定矩陣，則稱此規劃為凸?次規劃，否則為?凸規劃。對于?凸規

既有等式約束，?有不等式約束，則稱為混合約束優化問題（或?般約束優化問題）；。矩陣向量形式為，為半正定矩陣，則稱此規劃為凸?次規劃，否則為?凸規劃。對于?凸規

把簡單界約束優化問題稱為盒式約束優化問題（或有界約束優化問題），數學模型為：

2）?約束最優化問題

如果問題中?任何約束條件，則稱為?約束最優化問題，數學模型為：

3）連續與離散最優化問題

決策變量的取值是連續的，稱為連續最優化問題；

決策變量的取值是離散的，稱為離散最優化問題，?稱為組合最優化問題。如整數規劃、資源配置、郵路問題、?產安排等問題都是離散最優化問題的典型例?，求解難度?連續最優化問題更?。

4）光滑與?光滑最優化問題

如果最優化數學模型中的所有函數都連續可微，則稱為光滑最優化問題；

只要有?個函數?光滑，則相應的優化問題就是?光滑最優化問題。

5）線性規劃問題

對于連續光滑最優化問題，如果最優化數學模型中的所有函數都是決策變量的線性函數，則稱為線性規劃問題。線性規劃問題的?般形式為：

其中

其中

，

6）?次規劃問題

對于連續光滑最優化問題，如果最優化數學模型中的?標函數是決策變量的?次函數，?所有約束都是決策變量的線性函數，則稱為?次規劃問題。?次規劃問題的?般形式為：

其中，為純量，為階對稱矩陣。如果劃，由于存在?較多的駐點，求解?較困難。

7）?線性最優化問題

只要最優化數學模型中的函數有?個關于決策變量是?線性的，則稱為?線性最優化問題。

?線性最優化問題是最?般的最優化問題，?線性規劃和?次規劃問題卻是相當重要的特殊的最優化問題，因為在實際中形成的許多最優化問題都是線性規劃問題或?次規劃