.,1,數據挖掘導論,福建醫科大學鄭偉成,.,2,支持向量機,支持向量機(SupportVectorMachine，SVM)是CorinnaCortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，并能夠推廣應用到函數擬合等其他機器學習問題中。在機器學習中，支持向量機（SVM，還支持矢量網絡）是與相關的學習算法有關的監督學習模型，可以分析數據，識別模式，用于分類和回歸分析。,.,3,支持向量機（SVM）是90年代中期發展起來的基于統計學習理論的一種機器學習方法，通過尋求結構化風險最小來提高學習機泛化能力，實現經驗風險和置信范圍的最小化，從而達到在統計樣本量較少的情況下，亦能獲得良好統計規律的目的。通俗來講，它是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，即支持向量機的學習策略便是間隔最大化，最終可轉化為一個凸二次規劃問題的求解。,什么是支持向量機SVM,.,4,在講SVM之前，必須先弄清楚一個概念：線性分類器算法考慮一個兩類的分類問題，數據點用x來表示，這是一個n維向量，wT中的T代表轉置，而類別用y來表示，可以取1或者-1，分別代表兩個不同的類。一個線性分類器的學習目標就是要在n維的數據空間中找到一個分類超平面，其方程可以表示為,線性分類,.,5,一個二維平面(一個超平面，在二維空間中的例子就是一條直線)，如下圖所示，平面上有兩種不同的點，分別用兩種不同的顏色表示，一種為紅顏色的點，另一種則為藍顏色的點，紅顏色的線表示一個可行的超平面。,分類超平面,.,6,從上圖中我們可以看出，這條紅顏色的線把紅顏色的點和藍顏色的點分開來了。而這條紅顏色的線就是超平面，也就是說，這個超平面把這兩種不同顏色的數據點分隔開來，在超平面一邊的數據點所對應的y全是-1，而在另一邊全是1,分類超平面,.,7,應用分類函數顯然，如果f(x)=0，那么x是位于超平面上的點。我們不妨要求對于所有滿足f(x)0則對應y=1的數據點。,應用超平面進行分類,.,8,分類超平面,.,9,對于圖示數據，無法找到一個二維超平面進行正確分類,非線性可分,.,10,線性不可分的高緯解,.,11,可以看到兩個支撐著中間間隔的超平面，它們到中間的純紅線到兩個分割平面的距離相等，即我們所能得到的最大的幾何距離，而“支撐”這兩個超平面的必定會有一些點，而這些“支撐”的點便叫做支持向量SupportVector。,支持向量,.,12,很顯然，由于這些supportingvector剛好在邊界上，所以它們滿足（Y的取值為1或-1）那么支持向量機的分類過程，就是找到這些支撐點過程，通過求解WT與B，學習建立分類器,支撐點,.,13,簡而言之：在線性不可分的情況下，支持向量機通過某種事先選擇的非線性映射(核函數)將輸入變量映射到一個高維特征空間，在這個空間中構造最優分類超平面。我們使用SVM進行數據集分類工作的過程首先是同預先選定的一些非線性映射將輸入空間映射到高維特征空間,核函數,.,14,當出現線性不可分的情況，利用核函數隱