1、實驗四：支持向量機班級姓名學號指導老師.實驗目的1 .了解基有關支持向量機的基本原理2 .能夠使用支持向量機的代碼解決分類與回歸問題3 .了解圖像分類的基本原理二、實驗的硬件、軟件平臺硬件：計算機軟件：操作系統win10應用軟件：Java三、實驗原理1. LIBSVM使用方法簡介LibSVM是以源代碼和可執行文件兩種方式給出的。如果是Windows系列操作系統，可以直接使用軟件包提供的程序，也可以進行修改編譯；如果是Unix類系統，必須自己編譯。LIBSVM在給出源代碼的同時還提供了Windows操作系統下的可執行文件，包括：進行支持向量機訓練的svmtrain.exe；根據已獲得的支持向量機

2、模型對數據集進行預測的svmpredict.exe；以及對訓練數據與測試數據進行簡單縮放操作的svmscale.exe。它們都可以直接在DOS環境中使用。如果下載的包中只有C+勺源代碼，則也可以自己在VC等軟件上編譯生成可執行文件。2. LIBSVM使用的一般步驟是：1) 按照LIBSVM軟件包所要求的格式準備數據集；2) 對數據進行簡單的縮放操作；3) 考慮選用RBF核函數；4) 采用交叉驗證選擇最佳參數C與g;5) 采用最佳參數C與g對整個訓練集進行訓練獲取支持向量機模型；6) 利用獲取的模型進行測試與預測。3. LIBSVM使用的數據格式1)訓練數據和檢驗數據文件格式如下：<lab

3、el><index1>:<value1><index2>:<value2>.其中<label>是訓練數據集的目標值，對于分類，它是標識某類的整數(支持多個類)；對于回歸，是任意實數。<index>是以1開始的整數，可以是不連續的；<value>為實數，也就是我們常說的自變量。檢驗數據文件中的label只用于計算準確度或誤差，如果它是未知的，只需用一個數填寫這一欄，也可以空著不填。在程序包中，還包括有一個訓練數據實例：heart_scale,方便參考數據文件格式以及練習使用軟件。可以編寫小程序，將自己。的數

4、據格式轉換成這種格式2）Svmtrain和Svmpredict的用法L舊SVM軟件提供的各種功能都是DO階令執行方式。我們主要用到兩個程序，svmtrain（訓I練建模）和svmpredict（使用已有的模型進行預測），下面分別對這兩個程序的使用方法、各參數的意義以及設置方法做一個簡單介紹：（1）Svmtrain的用法：svmtrainoptionstraining_set_filemodel_file一一一Options:可用的選項即表示的涵義如下-ssvm類型：SV根置類型（默認0）0-C-SVC1-v-SVC2-一類SVM3-e-SVR4-v-SVR-t核函數類型：核函數設置類型（默認2

5、）0-線性：u'v1 -多項式：（r*u'v+coef0）Adegree2 -RBF函數：exp（-r|u-v|A2）3 -sigmoid:tanh（r*u'v+coef0）- ddegree：核函數中的degree設置（默認3）- g函數設置（默認1/k）?r（gama）:核函數中的- rcoef0：核函數中的coefO設置（默認0）?-ccost:設置C-SVC-SVR的參數（默認1）?-SVR和- SVR勺參數（默認0.5）?-SVC,一類SVMff口？-nnu:設置- SVR?-pe：設置的值（默認0.1）?中損失函數- mcachesize:設置cache內存

6、大小，以MB為單位（默認40）- e:設置允許的終止判據（默認0.001）?- hshrinking:是否使用啟發式，0或1（默認1）- wiC（C-SVCt的C）（默認1）?weight：設置第幾類的參數C為weight- vn:n-fold交互檢驗模式其中-g選項中的k是指輸入數據中的屬性數。option-v隨機地將數據剖分為n部分并計算交互檢驗準確度和均方根誤差。以上這些參數設置可以按照SVM勺類型和核函數所支持的參數進行任意組合，如果設置的參數在函數或SVM類型中沒有也不會產生影響，程序不會接受該參數；如果應有的參數設置不正確，參數將采用默認值。training_set_file是要進

7、行訓練的數據集；model_file是訓練結束后產生的模型文件，文件中包括支持向量樣本數、支持向量樣采以及lagrange系數等必須的參數；該參數如果不設置將采用默認的文件名，也可以設置成自己慣用的文件名。（2） Svmpredict的用法：svmpredicttest_filemodel_fileoutput_filemodel_file是由svmtrain產生的模型文件；test_file是要進行預測的數據文件；Output_file是svmpredict的輸出文件。svm-predict沒有其它的選項。四、實驗內容及步驟支持向量機算法訓練分類器：1 .訓練數據集：見文檔“分類數據集.do

8、c”，前150個數據作為訓練數據，其他數據作為測試數據，數據中“+1”“-1”分別表示正負樣本。2 .使用代碼中的C-SVCB法和默認參數來訓練”分類數據集.doc”中所有的數據（包括訓練數據和測試數據），統計分類查準率。m命令握示衿：'IsersMIdiiinistratDrXDesktopXlibsui3-20windowa>5vn-train,exe1.txt2ptimizationFinished,Biter=16*u-n,431029bj=-100.877288,rha=D.424462SU=132,nBSU=107DLdln£l>133：JJsersM

9、ldniinistratorXDesktopXlibsui3-20windows>svn-ppedict1.txt23ccuracy86.ftf>67vi<234/2?B)<c1ass1Ficatlon3 .在2的基礎上使用k-折交叉驗證思想來訓練分類器并統計分類查準率：:BsersAdnini£tpatorDesktoplihsuin-3.20windov>s>s«n-train.exe-v10i.txt2ptimlsationfinljhtdjttltfri-133u=0.4S7663bj=-96,023257,rho=0.36097

10、7SU-1雙nBEU-IBUotalnSU=125ptimlaattanfinl3htd,ttitfri,-172u=0.439324bj=-91.326460,rho=0.419186SU-120,nB£U-92otalnSU=120ptimlzattanrtuished,ttltfri1lb?u=0.449487bj=-9.364450.rho=0.475975EU-124,nB£U-96otalnSU=124ptimlsatianfinl4htd,ttltfti-132u=0.419548bj=-86,660809,rho=0.248152SU-115*nB£

11、;U-91otalnSU=115CrvSsUalidationAccurcv81,8519>4 .使用2中的設置在訓練數據的基礎上學習分類器，將得到的分類器在測試數據上進行分類預測，統計查準率5 .在4上嘗試不同的C值（“-c”參數）來調節分類器的性能并繪制查準率曲線。m晶令媼示符口：sersMldniinistratorDes<CopXlibsunt-3-20windows>su(ntrain.exe-c0.51.txt2ptinlzationfinishedAlter'131u=0.492462bj=-56.S2S4H1.pho=0.239152SU-14，nBS

12、U-125otaln£U=144MsepssAdminL£tratDrxDesktopMihsum-320uindous>sumtpain.ext-c11.txt2ptinizati.anFin-1b2u=0.431029bj=-100.877288,rhu=0,424462EU-13Z,nBSU-107tainSU=132：MJ£apsAdnlnistv&tai*Deskt：dpMihsun-3«20uindnu&>sun-tnain-e1*51,txt2ptinizationFinished,ttiter=166u-0.，

13、的6ysbj=-142.131581,pho=0.474903SU=126knBSV=97ot«ln£U-±2&C：ilsersdministFatorXDesktopXlihsuii-3.20windows>suin-train.exe-c21.txt2*aptimlzatianfiniislied,ttitar22t)nu=0.388793obj=-181,110841,rho=F),433596i£U-123.nBSU-90FotalnSU=123C：UseP5AdministFatDrxDe5ktoplihsuii-3.20uind

14、ous>sun)-trLain.exe-c2.51.txt2*aptinizationFinished*=239nu=0.377fll5obj=-218.307424,rho=0.453258iSU-12燈，nBSU-84FotalnSU=1206 .嘗試不同的kernel函數（“-t”參數）來調節分類器的性能并繪制查準率曲線，對每種kernel函數嘗試調節其參數值并評估查準率。：MlsepsMldniinistpatc*rDesktQplibsui3,20windows>svn-tpain.exe-t01,txt2*ptifiizationfinishedrttiter=1010

15、u=35另371bj-92,4733Et,pRb-SU=101,nBSU=88n“lnSU=101：SUsepsdministratorSDesktopXlihsuii-3-20windows>sum-tpain.exe-t11.txt2ptimlEationfinishEd,ttitar14日u=0.605080bj=-131.800243,r加=-0,16568B£U-177,nBSU-15totalnSU=17?：U5ersAdministpatDrxDesktaplihsuin-3.20uindaus>Gun)-trLain.exe-t21.txt2ptiniza

16、tionfinished,=162u-0.431029bj=-100.877288,rho=0.424462SU=132,nBSU=107ot«ln£U-132UverssAdministratDrXDesktapMibsum-3.20w±ndaws>svmtrain-t31«txt2Eiptimizationfinished,ttiter=157iu-0.43£762ibj=-110.099362,pho=-0.333939iSU=124,nBSU=11&otaln£U-124支持向量機算法訓練回歸方程：(1) .回歸

17、數據集：見文檔”回歸數據集.doc”，總共506個數據，數據中前13個屬性作為輸入，最后一個屬性作為輸出。：MisersMflldninistratDrxDesJctopXlibsum-3.2Hwinidows>su>iTi-piiedict.exe2.txt2.txt.mode1;eansquarederror=9.681692<resjiressio>fi>quaredcorrelationcoefficicnt-0203485(repression>(2) .使用代碼中的epsilon-SVR算法和默認參數來訓練”回歸數據集.doc中所有的數據，統計回

18、歸方程在每個數據點輸出的誤差并進行誤差分析。:：XJersHdministratorJ)eskltaibsvm-3.20windawESun-train-exe-s3txtSptinizatianFinished,ttiter=90u=0.885835bj=-89,070542,rho=0.3B1291£U-125.nBSU-112.在2上嘗試不同的epsilon值(“-p”參數)來調節epsilon-SVR算法的性能。C：IJseFsMldiinistpatDrvJ)esktQplib3Ui3,20windows>5vn-trflin.ext-s3-p0.22.txt5N p

19、timizationfinisbed,ttiter=82nu=0.864823 bj-77.S34421,pBd-0.339066nGU=121,nBSU=1的C：Jlsei*5dmlni£tpatDrLJ)esktapXlib£um-3.20uindnus>sum-train.exe-s3-p0.32.txt5* ptinizationfinishedPttitei'=75nu-0.847488 bj=-66.240874,rho=0.298788nSU=nBSV=107C：MIsepsMIdninitratorDesktopMibsuii-3_20wind

20、ows>sv(n-tpain.exe-s3-p0.42.txt5K ptimizationfinislied,Kiter=81nu=0.830030 bj-55,164745Frho-&.233221nSU=114*nBSU=1&4C-SlllgarsAdministratDrM)esktaDlibsvin_3.2QwindawE>S'Jn_train-exer3-p052«txtSM ptinizatianfinisiedFttiter=86nu=0.?99?57 bj=-44.395639Arho=0.228635nSU-112,nBSU-95五、思考題：1 .闡述k-折交叉驗證的思想，比較1.2和1.3的性能。答：k-折交叉驗證(k-foldcrossValidation)就是在機器學習中，將數據集A分為訓練集(trainingset)B和測試集(tests