支持向量機簡介主要內容SVM的理論基礎相關基礎學問線性支持向量機的求解非線性支持向量機——核方法算法歸納關于SVM思想：

通過某種事先選擇的非線性映射（核函數）將輸入向量映射到一個高維特征空間，在這個空間中找尋最優分類超平面。使得它能夠盡可能多的將兩類數據點正確的分開，同時使分開的兩類數據點距離分類面最遠。

途徑：

構造一個約束條件下的優化問題，具體說是一個帶線性不等式約束條件的二次規劃問題(constrainedquadraticprograming),求解該問題，構造分類超平面，從而得到決策函數。SVM的理論基礎傳統機器學習方法的閱歷風險最小化原則統計學習理論的結構化風險最小化原則VC維泛化誤差的邊界閱歷風險最小化原則ERM傳統的學習理論主要是基于閱歷風險最小化原則（ERM）的。學習機器的預料輸出的期望風險可以表示為：在訓練過程中，輸入與輸出組成訓練樣本(x，y)，供應應學習機器。在測試過程中，訓練后的學習機器對于輸入x給出預料輸出。為廣義參數（全部參數的集合）。預料輸出可表示為為損失函數，用來衡量兩個變量之間的不一樣程度。因此，機器學習問題也可以表示為，從一組獨立同分布的觀測樣本動身，通過最小化風險泛函R(a)，確定學習機器的廣義參數a的過程。最小化期望風險R(a)，必需利用聯合概率F(x,y)的信息。在實際中，聯合分布未知，只有觀測樣本。用算術平均值靠近期望風險。由于Remp(a)是用已知的訓練樣本（閱歷數據）定義的，因此稱為閱歷風險。用閱歷風險Remp(a)最小化來代替期望風險R(a)最小化，來求出學習機器的參數a的方法----閱歷風險最小化原則ERM。多年來，閱歷風險最小化原則作為解決模式識別等機器學習問題的基本思想，幾乎統治了這個領域內的全部探討。理論表明，當訓練數據趨于無窮多時，閱歷風險收斂于實際風險。因此閱歷風險最小化原則隱含地運用了訓練樣本無窮多的假設條件。困難度高的學習機器，往往具有較低的閱歷風險。因此，閱歷風險最小化原則的結果，將使學習機器變得越來越困難。因此，如何依據實際問題，在學習機器的閱歷風險和模型困難度之間取得合理的折衷，從而使學習機器具有更高的泛化性能，是特殊重要的問題。VC維統計學習理論是關于小樣本進行歸納學習的理論，其中一個重要的概念就是VC維（Vapnik-Chervonenkisdimension）。模式識別方法中VC維的直觀定義是：對一個指示函數集，假如存在h個樣本能夠被函數集里的函數依據全部可能的2h種形式分開，則稱函數集能夠把h個樣本打散。函數集的VC維就是它能打散的最大樣本數目h。若對隨意數目的樣本都有函數能將它們打散，則函數集的VC維是無窮大。VC維VC維反映了函數集的學習實力。一般而言，VC維越大則學習機器越困難，學習容量越大。一般地，對于n維空間Rn中，最多只能有n個點是線性獨立的，因此Rn空間超平面的VC維是n+1。Rn空間中的超平面共有n+1個獨立的參數，恰好等于VC維數。在非線性狀況下學習機器的VC維通常是無法計算的，通過變通的方法奇異地避開干脆求VC維的問題。泛化誤差的邊界統計學習理論從VC維的概念動身，推導出了關于閱歷風險和實際風險之間關系的重要結論，稱作泛化誤差的邊界。Remp(a)表示閱歷風險；Ψ(h/l)稱為置信風險；（置信范圍，VC信任）l是樣本個數；參數h稱為一個函數集合的VC維。當h/l較大時，置信風險較大，此時用閱歷風險近似期望風險就會出現較大的誤差。假如樣本數較多，使得h/l較小，則置信風險就會較小，閱歷風險最小化的最優解就會接近真正的最優解。對于一個特定的學習問題，當樣本數固定時，假如學習機器的VC維越高（困難度越高），則置信風險越大，導致真實風險與閱歷風險之間可能的差就越大，因此設計在設計分類器時，不但要使閱歷風險盡可能小，而且要限制其VC維也盡可能小，從而縮小置信風險，使期望風險最小。-SRM結構風險最小化原則SRM“結構風險最小化原理”的基本想法：假如我們要求風險最小，就須要使得不等式中兩項相互權衡，共同趨于微小；另外，在獲得的學習模型閱歷風險最小的同時，希望學習模型的泛化實力盡可能大，這樣就須要h值盡可能小，即置信風險最小。假如固定訓練樣本數目l的大小，則限制風險R(a)的參量有兩個：Remp(a)和h。(1)閱歷風險Remp(a)依靠于學習機器所選定的函數f(a,x),這樣，我們可以通過限制a來限制閱歷風險。(2)VC維h依靠于學習機器所工作的函數集合。為了獲得對h的限制，可以將函數集合結構化，建立h與各函數子結構之間的關系，通過限制對函數結構的選擇來達到限制VC維h的目的。支持向量機通過最大化分類邊界以最小化VC維，也即在保證閱歷風險最小的基礎上最小化置信風險，從而達到最小化結構風險的目的，因此支持向量機方法事實上就是結構風險最小化思想的具體實現。分類空間最大，置信風險最小，閱歷風險越靠近真實風險主要內容SVM的理論基礎相關基礎學問線性支持向量機的求解非線性支持向量機——核方法算法歸納相關基礎學問分類問題兩類可分問題的線性分類機求解線性分類問題的優化方法（拉格朗日乘子）對偶理論1、分類問題設有兩類模式C1和C2，為符號函數，稱為決策（分類）函數。是從模式C1和C2中抽樣得到的訓練集，其中

尋求RM上的一個實函數集，對于任給的未知模式，有或者當g(x)為線性函數時，稱為線性分類機，當g(x)為非線性函數時，稱為非線性分類機。2、兩類可分問題的線性分類機對于線性可分的兩類模式C1和C2，能夠精確將其分開的直線不是唯一的。假設，已知分類線l的法線矢量為w0，則分類線的表達式為：g(x)到原點距離為

直線l1和l2與分類線l之間的間隔距離為k，則這兩條邊界線的表達式分別為：找尋最大帶寬的問題，轉化為找尋g(x)使k達到最大的問題了。取直線l1和l2的表達式可改寫為：當k增大時，變小。因此，找尋最大帶寬k的問題，就轉化為找尋||w||的問題。為了計算上的便利，取目標函數為1/2||w||。對于隨意學習樣本（Xn,yn）,其分布必定在直線l1之上或直線l2之下。合并后為：在選擇分類線的過程中，上式對于任何學習樣本都必需成立。在此前提下找尋最寬邊界的問題，最終可以表示成一個約束優化問題：因此，總結出兩類分類機算法：3、求解線性分類問題的優化方法

上式只涉及到變量w的二次關系||w||，因此是一個二次規劃問題。二次規劃問題有唯一的最優解，不存在局部最優，這是本算法的突出優點。最優化問題的基本概念：（1）無約束問題全局最優的充分必要條件：（2）二維等式約束問題：空間曲線得到約束問題解的條件為；引入Lagrange乘子α，構造Lagrange函數在X*約束問題解的條件可以表達為歸納出“一般約束問題”的必要性條件：此條件也稱為“KKT條件（Karush-Kuhn-Tucher條件）”。事實上，對于凸一般約束問題，(4-17)式條件就是充分必要條件。4、對偶問題（1）原始問題與對偶問題（2）Wolfe對偶問題主要內容SVM的理論基礎相關基礎學問線性支持向量機的求解非線性支持向量機——核方法算法歸納線性支持向量機的求解兩類可分狀況兩類線性可分的支持向量機問題是一個二次規劃問題（目標函數上多了一個平方），滿足強對偶性條件如下：上式中：約束條件的意思就是要保證每個學習樣本都能夠被正確分類。總共有N個學習樣本，相應地就有N個約束表達式。用表示Lagrange乘子，則上式的Lagrange函數為線性支持向量機的求解兩類可分狀況求解過程如下：（1）求對偶函數

令得到：帶入前式化簡得：（2）由求解Lagrange乘子令：可以解出全部的Lagrange乘子線性支持向量機的求解兩類可分狀況（3）解出分類函數g(X)的法向矢量W：（4）由所對應的學習樣本是支持向量，它們恰好位于分類邊帶線上，其余與對應的約束條件中的樣本點，都位于上邊帶之上或下邊帶之下，這些點的存在并不影響分類函數的位置。可求出：把求出的W,b帶入分類函數表達式，可得最終的分類函數為：主要內容SVM的理論基礎相關基礎學問線性支持向量機的求解非線性支持向量機——核方法算法歸納非線性支持向量機——核方法特征空間的非線性映射和核函數（1）首先來看一個例子。（2）核函數：,其中是核函數,(,)是內積,Φ是從輸入空間到高維特征空間H的非線性映射.從而實現了把低維輸入空間中的非線性可分問題轉化成了高維特征空間H中的線性可分問題,并且奇異地解決了在高維特征空間H中計算的“維數災難”等問題.（3）常用的核函數：多項式：徑向基：雙曲正弦：,傅立葉核、樣條核非線性支持向量機——核方法利用核函數的方法，兩類非線性可分問題轉化成了線性問題，其相應的分類函數為：與線性可分類問題的區分在于，將其中的點積運算換成核函數運算（以Gaussian徑向基函數為例）非線性支持向量機——核方法關于核函數的選取包括：核函數類別選擇、核函數參數選擇、二次規劃參數選擇常用的方法：（1）利用專家的先驗學問預先給定核函數（2）在選取核函數時，分別試用不同的核函數，歸納衰減最小的核函數就是最好的核函數（3）混合核函數方法（目前選取核函數的最佳方法）最終的說明：在機器學習領域，給定了核函數，即相當于選擇了：①輸入模式的相像測度；②數據的一個線性表示③一個假設函數空間④正則化風險函數⑤相關函數算法歸納

用MatLab語言實現SVM分類算法的流程SVM方法的特點①

非線性映射是SVM方法的理論基礎,SVM利用內積核函數代替向高維空間的非線性映射;②

對特征空間劃分的最優超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心;③

支持向量是SVM的訓練結果,在SVM分類決策中起確定作用的是支持向量。

SVM是一種有堅實理論基礎的新穎 的小樣本學習方法。它基本上不涉及概率測度及大數定律等,因此不同于現有的統計方法。從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的“轉導推理”(transductiveinference)