1、支持向量機（SVM） 什么是支持向量機？什么是支持向量機？ l 圖A給出了一個線性可分數據集（可以在圖中畫一條直線將兩組數據點 分開） l 圖B、C、D分別給出了一條分隔的直線，那么其中哪一條最好？是不是 有尋找最佳擬合直線的感覺？ l 支持向量機（SVM）就可以用來尋找此線性可分情形下的最優分類面。 （有人說SVM是最好的現成的分類器） 12021/6/7 什么是支持向量機？什么是支持向量機？ 支持向量機（Support Vector Machine）是一種非常流行的監督學習 算法，簡稱為SVM 。該算法可以針對線性和非線性的數據。它利用一種 非線性轉換，將原始訓練數據映射到高維空間上。在新

2、的高維空間中， 它搜索線性最優分類超平面。或者說是搜索一兩個不同類型之間分離的 決策邊界。通過非線性映射將數據映射到一個足夠高的維度上，來自兩 個不同 類的數據總可以被一個超平面所分離。SVM使用支持向量(基本訓 練元組)和邊緣(由支持向量定義)來發現超平面。 右圖中，將紅藍兩類數據分隔開的直線稱為 分隔超平面，在更高維數據集中，將數據分隔開 的對象稱為超平面，也就是分類的決策邊界。 右圖中圓圈標記的數據點，也就是距離分隔超平面 最近的那些點，稱為支持向量（support vector）。 22021/6/7 支持向量機（支持向量機（SVM） 支持向量機理論：支持向量機理論： SVM是從線性可

3、分情況下的最優分類面發展而來。 最優分類面就是要求不但能將兩類正確分開，而且使得分類間隔最大。 SVM考慮尋找一個滿足分類要求的超平面，并且使得訓練集中的點距離分類 面盡可能的遠，也就是尋找一個分類面使它兩側的空白區域（margin）最大。 過兩類樣本中離分類面最近的點且平行于最優分類面的超平面上的訓練樣本 就叫做支持向量（support vector）。 目前，支持向量機已在人臉識別、文字識別、圖像處理和時間序列預測等領 域獲得了比較廣泛的應用。 32021/6/7 兩分類問題兩分類問題 n 線性線性分割分割情形情形 第 1 類 第 2 類 n許多決策邊界可以分割這許多決策邊界可以分割這 些

4、數據點出為兩類些數據點出為兩類 n我們選取哪一個我們選取哪一個? 42021/6/7 l 壞的決策邊界的例子壞的決策邊界的例子 第 1 類 第 2 類 第 1 類 第 2 類 52021/6/7 l 好的決策邊界好的決策邊界: 間隔最大間隔最大 Maximum Marginal n決策邊界離兩類數據應盡可能遠 n最大化間隔 m 第 1 類 第 2 類 m 62021/6/7 1、數學模型描述：、數學模型描述： 72021/6/7 2、支持向量機求解：、支持向量機求解： 通過引入拉格朗日函數將上述最優化問題轉化為其對偶問題，則可以得到 82021/6/7 3、解的性質、解的性質 92021/6/

5、7 a6=1.4 4、幾何解釋、幾何解釋 第1類 第2類 a1=0.8 a2=0 a3=0 a4=0 a5=0 a7=0 a8=0.6 a9=0 a10=0 102021/6/7 112021/6/7 122021/6/7 n線性線性不可分的不可分的情形情形 兩分類問題兩分類問題 132021/6/7 n關鍵思想關鍵思想: 為了解決非線性分割問題, 將 xi 變換到一個 高維空間。 n輸入空間: xi 所在的空間 n特征空間: 變換后 f(xi) 的空間 n如何變換如何變換 ? n利用一個適當的變換f, 使分類變得容易些。 n特征空間中的線性算子等價于輸入空間中 的非線性算子。 142021/

6、6/7 左圖是一個典型的線性不可分情形， 但是當我們把這兩個類似于橢圓形的點映射到一個高維空間后，映射函 數為： 用這個函數可以將上圖的平面中的點映射到一個三維空間（z1,z2,z3)，并 且對映射后的坐標加以旋轉之后就可以得到一個線性可分的點集了。 152021/6/7 變量 z 恒大于零。 原始圖中，紅圈數據分布在原點附近 它們的 z 值比較小； 而星星數據則遠離原點區域，它們具有較大的 z 值。 162021/6/7 n變換可能出現的問題變換可能出現的問題 n難以得到一個好的分類且計算開銷大 nSVM同時解決這兩個問題同時解決這兩個問題 n最小化 |w|2 能得到好的分類 n利用核函數核

7、函數技巧技巧(kernel trick)可以進 行有效的計算 f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f() f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) 特征空間輸入空間 172021/6/7 什么是核函數？ 核函數定義：核函數是一個對稱函數，對所有的x , y X ，滿足： 這里f() 是X到內積空間F的映射。 n核函數舉例核函數舉例 nd 階多項式核：階多項式核： n具有寬度具有寬度 s s的徑向基函數核：的徑向基函數核： n相當接近于徑向基函數神經網絡 n具有參數具有參數 k k and q q 的的S

8、igmoid 核核 182021/6/7 核函數技巧核函數技巧(kernel trick) n核函數 K 與映射 f(.) 之間的關系是 n作為核函數技巧這是已知的 n在應用中, 我們指定K, 從而間接地確定 f() 以代替選取 f() 。 n直觀地, K (x,y) 表示我們對數據 x 和 y 之間相似性的一 種描述， 且來自我們的先驗知識 。 n為了f() 存在， K (x,y) 需要滿足 Mercer 條件。 192021/6/7 202021/6/7 非線性非線性SVM算法算法 n將所有的將所有的內積改為核函數內積改為核函數 n訓練算法訓練算法: 線性的線性的 非線性的非線性的 212021/6/7 222021/6/7 232021/6/7 描述函數的值描述函數的值 12456 第第2類類 第第1類類第第1類類 242021/6/7 支持向量機應用：人臉識別 252021/6/7 人臉識別系統框架圖 262021/6/7 總結 支持向量機優缺點： 優點：SVM理論避開高維空間的復雜性，直接用內積函數即核函數，來解決決策問題。 同時SVM是基于小樣本統計理論的基礎上的，符合機器學習的目的 并且比神經網絡具有更好的泛化推廣能力。 缺點：對參數調節和核函數的選擇敏感。 支持向量機的應用： 支持向量機已在人臉識別、文字識別、圖像處理和時間序列預測等領