視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

SVMMatlab工具箱分類實例應用及理論介紹faruto

2009.8.14視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

總體目錄:1.實踐(matlab_svm_1.wmv) a.whatisSVM? b.libsvm-mat的安裝及使用初步介紹 c.實例(usingwinedata)2.理論(matlab_svm_2.wmv) a.統計學習理論（StatisticalLearningTheory）[SVM的理論基礎] b.SVM的基本思想 c.libsvm中采用的各種SVM模型及libsvm使用詳細介紹視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

Review:1.WhatisSVM?SupportVectorMachine2.SVM工具箱的注意事項>>mex–setup%letsyouselectorchangethecompilerconfiguration>>make1.安裝時需要把libsvm-mat作為當前的工作目錄,在后面使用時并將其加為工作目錄(setpath…).2.電腦里需要有相應的編譯器,可以用自帶的,最好裝一個VC.3.SVM的使用Model=svmtrain(train_label,train,[option]);[predict_label,accuracy]=svmpredict(test_label,test,model);視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

統計學習理論（StatisticalLearningTheory）>>Vapnik在60-70年代提出了統計學習理論的基本思想，并在20世紀90年代中期不斷發展和成熟>>與傳統的統計學相比，統計學習理論是一種專門研究小樣本情況下機器學習規律的理論>>該理論針對小樣本問題建立了一套新的理論體系，在這個理論體系下的統計推理規則不僅考慮了對漸進性能的要求，而且追求在現有有限信息的條件下得到最優結果視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

統計學習理論（StatisticalLearningTheory）>>與傳統的統計理論相比，統計學習理論基本上不涉及概率測度的定義及大數定律>>統計學習理論為建立有限樣本學習問題提供了一個統一的框架>>它避免了人工神經網絡等方法的網絡結構選擇、過學習和欠學習以及局部極小等問題.過學習狀況:視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

支持向量機方法是建立在統計學習理論的VC維理論和結構風險最小原理基礎上的.>>所謂VC維是對函數類的一種度量，可以簡單的理解為問題的復雜程度，VC維越高，一個問題就越復雜。>>正是因為SVM關注的是VC維，后面我們可以看到，SVM解決問題的時候，和樣本的維數是無關的>>（甚至樣本是上萬維的都可以，這使得SVM很適合用來解決文本分類的問題，當然，有這樣的能力也因為引入了核函數）。[byhgsz2003(洛洛)2.29#]

視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

SVM實現了下列思想:升維>>線性化通過事先選擇好的某一個非線性變換,講輸入向量映射到高維特征空間中,在一特征空間中,構造一個最有分類超平面.視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

前面也只是說了一些”空”的理論層面的東西,咱們來實際算算吧.[以下內容數學意味會較濃!]求最優分類超平面等價于求最大間隔視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

線性可分的最優超平面的求解:原問題:對偶問題:最終的判斷函數:視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

現在考慮非線性可分情況:此時x經過變化映射到高維空間中了.X=>fai(x)視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

Mercer定理保證了內積核函數的存在.常見的核函數:視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

Libsvm采用的各種SVM的模型:1.C-SVC(C-supportvectorclassification)2.nu-SVC(nu-supportvectorclassification)3.one-classSVM(distributionestimation)4.epsilon-SVR(epsilon-supportvectorregression)5.nu-SVR(nu-supportvectorregression)視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

Libsvm參數詳解:-ssvm類型：SVM設置類型(默認0)

0--C-SVC

1--v-SVC

2–一類SVM

3--e-SVR

4--v-SVR-t核函數類型：核函數設置類型(默認2)

0–線性：u'v

1–多項式：(r*u'v+coef0)^degree

2–RBF函數：exp(-r|u-v|^2)

3–sigmoid：tanh(r*u'v+coef0)-ddegree：核函數中的degree設置(針對多項式核函數)(默認3)-gr(gama)：核函數中的gamma函數設置(針對多項式/rbf/sigmoid核函數)(默認1/k)-rcoef0：核函數中的coef0設置(針對多項式/sigmoid核函數)((默認0)-ccost：設置C-SVC，e-SVR和v-SVR的參數(損失函數)(默認1)-nnu：設置v-SVC，一類SVM和v-SVR的參數(默認0.5)-pp：設置e-SVR中損失函數p的值(默認0.1)-mcachesize：設置cache內存大小，以MB為單位(默認40)-eeps：設置允許的終止判據(默認0.001)-hshrinking：是否使用啟發式，0或1(默認1)-wiweight：設置第幾類的參數C為weight?C(C-SVC中的C)(默認1)-vn:n-fold交互檢驗模式，n為fold的個數，必須大于等于2其中-g選項中的k是指輸入數據中的屬性數。option-v隨機地將數據剖分為n部分并計算交互檢驗準確度和均方根誤差。以上這些參數設置可以按照SVM的類型和核函數所支持的參數進行任意組合，如果設置的參數在函數或SVM類型中沒有也不會產生影響，程序不會接受該參數；如果應有的參數設置不正確，參數將采用默認值。視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

再看winedata視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

Review:1.統計學習理論（StatisticalLearningTheory）2.SVM實現了下列思想:升維>>線性化通過事先選擇好的某一個非線性變換,講輸入向量映射到高維特征空間中,在一特征空間中,構造一個最有分類超平面.3.線性可分的最優超平面的求解過程.視頻名稱:SVMMatlab工具箱分類實例應用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權申明：視頻歸原創作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉載！！Matlab&Simulink為美國mathworks公司注冊商標！版權歸mathworks公司所有！

我個人的建議:一個好的分類器固然重要,但不要全部指望分類器,前期的數據預處理亦很重要[去噪,規范化,特征提取],可以這么說的當你數據預處理的完美的