1、.Adaboost算法的研究及在人臉檢測方面的應(yīng)用摘要人臉檢測問題最初作為自動(dòng)人臉識(shí)別系統(tǒng)的定位環(huán)節(jié)被提出，近年來由于其在安全訪問控制、視覺檢測、基于內(nèi)容的檢索和新一代人機(jī)界面等領(lǐng)域的應(yīng)用價(jià)值，開始作為一個(gè)獨(dú)立的課題受到研究者的普遍重視。到目前為止，人臉檢測問題由于自身的復(fù)雜性，仍舊未能得到徹底解決。最新的進(jìn)展是Viola等人的基于積分圖像的Adaboost方法，其層疊分類器在人臉檢測方面速度快且性能與Rowlcy的ANN方法基本相同，在此基礎(chǔ)上所構(gòu)建的檢測系統(tǒng)是第一個(gè)真正實(shí)時(shí)的人臉檢測系統(tǒng)。但是作為一種新興技術(shù)，Adaboost方法在人臉檢測領(lǐng)域的研究還有待探索和完善。例如:弱分類器的選擇、

2、訓(xùn)練算法的完善、多尺度檢測計(jì)算量大、缺乏和先驗(yàn)知識(shí)的整合能力等等。本文作者結(jié)合研究生階段所參加的科研項(xiàng)目，對(duì)人臉檢測問題作了一些探討，對(duì)基于積分圖像的Adaboost人臉檢測方法存在的部分問題分別進(jìn)行了研究，并給出了相應(yīng)的解決方法關(guān)鍵詞:人臉檢測,Adaboost、膚色分割,YCbCr色彩空間，層疊分類器 THE STUDY OF ADABOOSTalgorithmic and face detectionABSTRACTImages containing faces are essential to intelligentvisionvision一based human computer i

3、nteraction，and research efforts in face Proeessing include face recognition，face tracking，Pose estimation，and expression reeognition.However，all of these researching directions involve in one problem一face deteetion and loeation.In othe rwords，before this faee Proeessing，we must know faeesloeations a

4、nd scales.Consequently，to build an automated face proeessing system which analyzes the information contained in face images，robust and efficient face detection algorithms are required.The researeh on face detection has lasted for more than twenty years.But，up to now，due to the complexity of the purp

5、ose such as the diversity of face pattems，variable lighting condition and so on，many researches can not resolve the problem completely even if they have studied it for long time.In this thesis，theauthorhasdonesomeworkonthefacedeteetion.Key words: HCCI, chemical kinetics, numerical simulation, DME, E

6、GR目錄ABSTRACT21 緒論11.1背景11.2 Adaboost算法的發(fā)展現(xiàn)狀概述11.3 Adaboost算法的應(yīng)用21.3.1 基于Adaboost算法的人臉識(shí)別21.3.2 Adaboost算法在噴碼圖像上的應(yīng)用31.3.3 Adaboost算法在IDS入侵檢測系統(tǒng)上的應(yīng)用31.4 本文的組織結(jié)構(gòu)42 Boosting算法以及Adaboost算法概述42.1Boosting算法42.1.1Boosting算法發(fā)展歷史42.1.2Boosting算法概述52.2.2 基分類器的權(quán)重62.3 Adaboos算法流程及偽碼描述62.3.1算法流程62.3.2算法偽代碼描述73 Adab

7、oost算法在人臉識(shí)別中的應(yīng)用103.1Haar-like 矩形特征103.1.1 特征值133.1.2積分圖像153.2 Adaboost 訓(xùn)練算法173.2.1 訓(xùn)練樣本的選擇183.2.2 Haar 特征提取183.2.3 弱分類器的生成183.2.4 強(qiáng)分類器的生成193.2.5多層級(jí)聯(lián)分類器的設(shè)計(jì)213.2.6 Adaboost 算法的檢測過程233.3本章小結(jié)254用MATLAB對(duì)ADABOOST算法進(jìn)行仿真254.1程序流程254.2使用說明254.3參數(shù)設(shè)置294.4程序結(jié)果304.5分析結(jié)果314.6附錄315結(jié)論38謝辭39參考文獻(xiàn)39 *;1 緒論1.1背景Adaboos

8、t是一種迭代算法，核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器，稱為弱分類器，然后將這些Adaboost弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器，其算法本身是 通過改變數(shù)據(jù)分布來實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個(gè)樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。使用adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特征，并將關(guān)鍵放在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。目前，對(duì)于此算法的研究以及應(yīng)用大多數(shù)集中于分類問題。同時(shí)近年也出現(xiàn)了一些在回歸問題上的應(yīng)用。Adaboost算法目前廣泛

9、適用于一些圖像分析領(lǐng)域，其中最為廣泛的是在人臉識(shí)別方面的應(yīng)用。1.2 Adaboost算法的發(fā)展現(xiàn)狀概述Adaboost全稱為Adaptive Boost ,是一種不需要預(yù)先掌握若學(xué)習(xí)算法的先驗(yàn)知識(shí)的算法，由早先的Boosting算法的基礎(chǔ)上發(fā)展而來。Boosting是一種提高任意給定學(xué)習(xí)算法準(zhǔn)確度的方法。它的思想起源于 Valiant提出的 PAC ( Probably Approxi mately Correct)學(xué)習(xí)模型。Valiant和 Kearns提出了弱學(xué)習(xí)和強(qiáng)學(xué)習(xí)的概念 ,識(shí)別錯(cuò)誤率小于1/2,也即準(zhǔn)確率僅比隨機(jī)猜測略高的學(xué)習(xí)算法稱為弱學(xué)習(xí)算法;識(shí)別準(zhǔn)確率很高并能在多項(xiàng)式時(shí)間內(nèi)完

10、成的學(xué)習(xí)算法稱為強(qiáng)學(xué)習(xí)算法。Valiant和 Kearns提出了疑問：任意給定僅比隨機(jī)猜測略好的弱學(xué)習(xí)算法 ,是否可以將其提升為強(qiáng)學(xué)習(xí)算法 ? 如果二者等價(jià) ,那么只需找到一個(gè)比隨機(jī)猜測略好的弱學(xué)習(xí)算法就可以將其提升為強(qiáng)學(xué)習(xí)算法 ,而不必尋找很難獲得的強(qiáng)學(xué)習(xí)算法。1990年, Schapire最先構(gòu)造出一種多項(xiàng)式級(jí)的算法 ,對(duì)該問題做了肯定的證明 ,這就是最初的 Boosting算法。1995年 , Freund和 schap ire對(duì)Boosting算法進(jìn)行改進(jìn) ,提出了 AdaBoost (Adap tive Boosting)算法,但不需要任何關(guān)于弱學(xué)習(xí)器的先驗(yàn)知識(shí) ,因而更容易應(yīng)用到實(shí)

11、際問題當(dāng)中。之后 , Freund和 schapire進(jìn)一步提出了改變 Boosting投票權(quán)重的 AdaBoost . M1,AdaBoost . M2等算法 ,在機(jī)器學(xué)習(xí)領(lǐng)域受到了極大的關(guān)注。Adaboost算法的應(yīng)用領(lǐng)域及其廣泛，包括基于Adaboost算法的人臉檢測、基于Adaboost算法的紅外目標(biāo)跟蹤和基于Adaboost的文字定位算法等等。1.3 Adaboost算法的應(yīng)用1.3.1 基于Adaboost算法的人臉識(shí)別人臉作為圖像與視頻中最重要的視覺圖像之一，在計(jì)算機(jī)視覺，模式識(shí)別，多媒體技術(shù)研究中戰(zhàn)友重要的地位?？梢暬治龊湍繕?biāo)識(shí)別研究中具有挑戰(zhàn)性的人物之一就是理解人們?nèi)绾翁幚?/p>

12、和識(shí)別彼此的相貌并進(jìn)行相應(yīng)的計(jì)算及建模最終完成人臉的自動(dòng)識(shí)別。人臉識(shí)別的研究可以追溯到20世界60到70年代。它在計(jì)算機(jī)視覺通訊和門禁系統(tǒng)中有很多潛在的應(yīng)用。基于Adaboost學(xué)習(xí)算法的級(jí)聯(lián)快速人臉檢測方法由Viola1等于2001年提出。它采用一種能快速計(jì)算出檢測器用到的特征的“積分圖像”的圖像表示方法，然后基于Adaboost學(xué)習(xí)方法，從一個(gè)較大的特征幾種選擇少量的關(guān)鍵的視覺特征，產(chǎn)生一個(gè)高效的分類器。在擁擠練的方式將單個(gè)分類器合成，使圖像背景區(qū)丟棄，在有人臉的區(qū)域花費(fèi)更多的計(jì)算。該方法給出了一個(gè)更穩(wěn)定的，實(shí)時(shí)的目標(biāo)檢測框架，是第一個(gè)實(shí)時(shí)的人臉檢測方法。Viola曾提出過完整的Adabo

13、ost算法流程，如圖1-1所示。圖1-1 Adaboost算法流程1.3.2 Adaboost算法在噴碼圖像上的應(yīng)用噴碼是一種應(yīng)用廣泛的印刷方式，號(hào)碼一般由計(jì)算機(jī)控制噴碼機(jī)點(diǎn)狀噴射出。噴射印刷后需要進(jìn)行印刷質(zhì)量的檢測，利用圖像處理，計(jì)算機(jī)視覺和模式識(shí)別等技術(shù)計(jì)算機(jī)能自動(dòng)識(shí)別噴碼圖像的號(hào)碼，判斷其印刷是否正確。一般的識(shí)別方法是利用模版匹配，其方法是提取待識(shí)別的噴碼圖像的特征，與每類標(biāo)準(zhǔn)模版圖像的特征進(jìn)行匹配，根據(jù)匹配度大小進(jìn)行判斷，歸入匹配度最大的那一類。然而由于種種原因，噴碼時(shí)常常出現(xiàn)錯(cuò)點(diǎn)，斷點(diǎn)，重點(diǎn)和漏點(diǎn)，導(dǎo)致提取的圖像特征出現(xiàn)誤差，微末般的精確匹配帶來難度。Adaboost算法是一個(gè)建構(gòu)準(zhǔn)

14、確分類器的學(xué)習(xí)方法，預(yù)先把出錯(cuò)的樣本加入待學(xué)習(xí)樣本，通過機(jī)器學(xué)習(xí)，能夠造出識(shí)別能力更強(qiáng)，識(shí)別范圍更廣的分類器?；谒惴ǖ纳鲜鰞?yōu)勢，把它應(yīng)用到噴碼圖像的識(shí)別，能有效提高計(jì)算機(jī)號(hào)碼自動(dòng)識(shí)別能力。圖1-2 噴碼圖像1.3.3 Adaboost算法在IDS入侵檢測系統(tǒng)上的應(yīng)用入侵檢測是對(duì)計(jì)算機(jī)系統(tǒng)攻擊行為的檢測，它是一種積極主動(dòng)的安全防護(hù)技術(shù)，提供了對(duì)內(nèi)部攻擊、外部攻擊和誤操作的實(shí)時(shí)保護(hù)。入侵攻擊可以定義為試圖滲透系統(tǒng)或者繞過系統(tǒng)安全策略獲取信息，更改信息或者中斷系統(tǒng)的正常運(yùn)行的活動(dòng)。入侵檢測系統(tǒng)(Intrusion Detection System)不但要能實(shí)時(shí)監(jiān)控系統(tǒng)的活動(dòng)、及時(shí)發(fā)現(xiàn)攻擊行為，而且

15、要能夠準(zhǔn)確的識(shí)別其攻擊類型，只有在清楚對(duì)方的攻擊方法后，才能采取有效的措施減少攻擊造成的危害。于是對(duì)攻擊類型的識(shí)別成為一個(gè)熱門的研究課題。現(xiàn)如今的互聯(lián)網(wǎng)攻擊方式主要分為四大類:DOS 拒絕服務(wù)攻擊、R2L遠(yuǎn)端未授權(quán)進(jìn)入、U2R本地特權(quán)用戶進(jìn)入、Probing：檢測或探測。有關(guān)組織對(duì)Adaboost在DIS入侵檢測上的應(yīng)用做了大量的實(shí)驗(yàn)，試驗(yàn)中選取了1183條數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，他們包含了8中數(shù)據(jù)類型，其中1類為正常數(shù)據(jù)，其余7中為攻擊數(shù)據(jù)。用集合的80%做訓(xùn)練樣本，20%做測試樣本。在用Adaboost方法時(shí)必須選定一個(gè)弱分類方法放于Boosting框架之中，試驗(yàn)中運(yùn)用了神經(jīng)網(wǎng)絡(luò)（BP）作為弱分

16、類方法。實(shí)驗(yàn)結(jié)果表明，在分類器數(shù)目為12時(shí)錯(cuò)誤率最低僅為0.0042。Adaboost提高了若愚測算法BP的預(yù)測精度，說明了Adaboost對(duì)IDS入侵檢測具有很好的作用，因?yàn)樗腻e(cuò)誤率僅為0.0042，從測試時(shí)間上看，它僅僅比BP多了0.34秒，達(dá)到了實(shí)用的要求。1.4 本文的組織結(jié)構(gòu)第一章概述了Adaboost算法的研究歷史研究背景和研究意義，以及簡要介紹了Adaboost算法在多個(gè)領(lǐng)域內(nèi)的應(yīng)用。第二章詳細(xì)介紹了Boosting和Adaboost算法的基本理論及迭代步驟。 第三章詳細(xì)闡述了Adaboost的算法本質(zhì)以及在人臉檢測方面詳細(xì)的應(yīng)用方法，以及運(yùn)用Adaboost算法實(shí)現(xiàn)人臉檢測功

17、能的過程。第四章對(duì)Adaboost算法進(jìn)行仿真。通過對(duì)仿真結(jié)果的分析，加深對(duì)于該算法的理解。2 Boosting算法以及Adaboost算法概述2.1Boosting算法2.1.1Boosting算法發(fā)展歷史在機(jī)器學(xué)習(xí)領(lǐng)域，Kearns和Valiant提出了弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法的等價(jià)性問題，即在PAC學(xué)習(xí)模型中，若存在一個(gè)多項(xiàng)式級(jí)的學(xué)習(xí)算法可以識(shí)別一組概念，并且識(shí)別正確率很高，則這組概念就是強(qiáng)可學(xué)習(xí)的；而如果學(xué)習(xí)算法識(shí)別一組概念的正確率僅比隨即猜測的結(jié)果略好，則這組概念就是弱可學(xué)習(xí)的。那么是否可以將一個(gè)弱學(xué)習(xí)算法提升成一個(gè)強(qiáng)學(xué)習(xí)算法呢？結(jié)論是：若兩者等價(jià)的話，則在學(xué)習(xí)時(shí)只要能夠找到一個(gè)比隨機(jī)

18、猜測略好的弱學(xué)習(xí)算法，就可以將其提升為強(qiáng)學(xué)習(xí)算法，而不必直接去找在一般情況下很難得到的強(qiáng)學(xué)習(xí)算法。1990年，Schapire對(duì)該問題給出了一個(gè)肯定的證明，這就是最初的boosting算法。一年以后，F(xiàn)reund提出了一個(gè)效率更高的boosting算法，但是這兩個(gè)算法在解決實(shí)際問題是都存在一個(gè)重大的缺陷，即他們都喲球事先知道弱學(xué)習(xí)算法學(xué)習(xí)正確率的下限，而這在實(shí)際問題中很難做得到。1995年Freund和Schapire提出了Adaboost算法，他們證明只要加入一個(gè)識(shí)別率略好于隨即猜測的弱學(xué)習(xí)算法，就能夠是最后得到的分類區(qū)識(shí)別率有一個(gè)比較明顯的提升。該算法的效率與Freund方法的效率幾乎一樣

19、，但是卻可以非常容易的應(yīng)用到實(shí)際問題中。2.1.2Boosting算法概述Boosting方法是一種用來提高弱分類算法準(zhǔn)確度的方法2,這種方法通過構(gòu)造一個(gè)預(yù)測函數(shù)系列,然后以一定的方式將他們組合成一個(gè)預(yù)測函數(shù)。他是一種框架算法,主要是通過對(duì)樣本集的操作獲得樣本子集,然后用弱分類算法在樣本子集上訓(xùn)練生成一系列的基分類器。他可以用來提高其他弱分類算法的識(shí)別率,也就是將其他的弱分類算法作為基分類算法放于Boosting 框架中,通過Boosting框架對(duì)訓(xùn)練樣本集的操作,得到不同的訓(xùn)練樣本子集,用該樣本子集去訓(xùn)練生成基分類器;每得到一個(gè)樣本集就用該基分類算法在該樣本集上產(chǎn)生一個(gè)基分類器,這樣在給定訓(xùn)

20、練輪數(shù) n 后,就可產(chǎn)生 n 個(gè)基分類器,然后Boosting框架算法將這 n個(gè)基分類器進(jìn)行加權(quán)融合,產(chǎn)生一個(gè)最后的結(jié)果分類器,在這 n個(gè)基分類器中,每個(gè)單個(gè)的分類器的識(shí)別率不一定很高,但他們聯(lián)合后的結(jié)果有很高的識(shí)別率,這樣便提高了該弱分類算法的識(shí)別率。在產(chǎn)生單個(gè)的基分類器時(shí)可用相同的分類算法,也可用不同的分類算法,這些算法一般是不穩(wěn)定的弱分類算法,如神經(jīng)網(wǎng)絡(luò)(BP) ,決策樹(C4 5)等。2.2 Adaboost算法由于Boosting算法在解決實(shí)際問題時(shí)有一個(gè)重大的缺陷,即他們都要求事先知道弱分類算法分類正確率的下限,這在實(shí)際問題中很難做到。后來 Freund 和 Schapire提出了

21、 AdaBoost 算法3,該算法的效率與 Freund 方法的效率幾乎一樣,卻可以非常容易地應(yīng)用到實(shí)際問題中。AdaBoost 是Boosting 算法家族中代表算法,AdaBoost 主要是在整個(gè)訓(xùn)練集上維護(hù)一個(gè)分布權(quán)值向量 D( x) t ,用賦予權(quán)重的訓(xùn)練集通過弱分類算法產(chǎn)生分類假設(shè) Ht ( x) ,即基分類器,然后計(jì)算他的錯(cuò)誤率,用得到的錯(cuò)誤率去更新分布權(quán)值向量 D( x) t ,對(duì)錯(cuò)誤分類的樣本分配更大的權(quán)值,正確分類的樣本賦予更小的權(quán)值。每次更新后用相同的弱分類算法產(chǎn)生新的分類假設(shè),這些分類假設(shè)的序列構(gòu)成多分類器。對(duì)這些多分類器用加權(quán)的方法進(jìn)行聯(lián)合,最后得到?jīng)Q策結(jié)果。這種方法不

22、要求產(chǎn)生的單個(gè)分類器有高的識(shí)別率,即不要求尋找識(shí)別率很高的基分類算法,只要產(chǎn)生的基分類器的識(shí)別率大于 015 ,就可作為該多分類器序列中的一員。尋找多個(gè)識(shí)別率不是很高的弱分類算法比尋找一個(gè)識(shí)別率很高的強(qiáng)分類算法要容易得多,AdaBoost 算法的任務(wù)就是完成將容易找到的識(shí)別率不高的弱分類算法提升為識(shí)別率很高的強(qiáng)分類算法,這也是 AdaBoost 算法的核心指導(dǎo)思想所在,如果算法完成了這個(gè)任務(wù),那么在分類時(shí),只要找到一個(gè)比隨機(jī)猜測略好的弱分類算法,就可以將其提升為強(qiáng)分類算法,而不必直接去找通常情況下很難獲得的強(qiáng)分類算法。通過產(chǎn)生多分類器最后聯(lián)合的方法提升弱分類算法,讓他變?yōu)閺?qiáng)的分類算法,也就是給

23、定一個(gè)弱的學(xué)習(xí)算法和訓(xùn)練集,在訓(xùn)練集的不同子集上,多次調(diào)用弱學(xué)習(xí)算法,最終按加權(quán)方式聯(lián)合多次弱學(xué)習(xí)算法的預(yù)測結(jié)果得到最終學(xué)習(xí)結(jié)果。包含以下2 點(diǎn)2.2.1樣本的權(quán)重AdaBoost 通過對(duì)樣本集的操作來訓(xùn)練產(chǎn)生不同的分類器,他是通過更新分布權(quán)值向量來改變樣本權(quán)重的,也就是提高分錯(cuò)樣本的權(quán)重,重點(diǎn)對(duì)分錯(cuò)樣本進(jìn)行訓(xùn)練。(1) 沒有先驗(yàn)知識(shí)的情況下,初始的分布應(yīng)為等概分布,也就是訓(xùn)練集如果有 n個(gè)樣本,每個(gè)樣本的分布概率為1/ n。 (2) 每次循環(huán)后提高錯(cuò)誤樣本的分布概率,分錯(cuò)的樣本在訓(xùn)練集中所占權(quán)重增大,使得下一次循環(huán)的基分類器能夠集中力量對(duì)這些錯(cuò)誤樣本進(jìn)行判斷。2.2.2 基分類器的權(quán)重最后的

24、強(qiáng)分類器是通過多個(gè)基分類器聯(lián)合得到的,因此在最后聯(lián)合時(shí)各個(gè)基分類器所起的作用對(duì)聯(lián)合結(jié)果有很大的影響,因?yàn)椴煌诸惼鞯淖R(shí)別率不同,他的作用就應(yīng)該不同,這里通過權(quán)值體現(xiàn)他的作用,因此識(shí)別率越高的基分類器權(quán)重越高,識(shí)別率越低的基分類器權(quán)重越低。權(quán)值計(jì)算如下:基分類器的錯(cuò)誤率:e = ( ht ( x i) yi) Di (1)基分類器的權(quán)重:W t = F( e) ,由基分類器的錯(cuò)誤率計(jì)算他的權(quán)重。 2.3 Adaboos算法流程及偽碼描述2.3.1算法流程算法流程可用結(jié)構(gòu)圖 2-1 描述,如圖2- 1 所示 AdaBoost重復(fù)調(diào)用弱學(xué)習(xí)算法(多輪調(diào)用產(chǎn)生多個(gè)分類器) ,首輪調(diào)用弱學(xué)習(xí)算法時(shí),按

25、均勻分布從樣本集中選取子集作為該次訓(xùn)練集,以后每輪對(duì)前一輪訓(xùn)練失敗的樣本,賦予較大的分布權(quán)值（Di 為第i 輪各個(gè)樣本在樣本集中參與訓(xùn)練的概率) ,使其在這一輪訓(xùn)練出現(xiàn)的概率增加,即在后面的訓(xùn)練學(xué)習(xí)中集中對(duì)比較難訓(xùn)練的樣本進(jìn)行學(xué)習(xí),從而得到 T個(gè)弱的基分類器, h1 , h2 , , ht ,其中 ht 有相應(yīng)的權(quán)值 w t ,并且其權(quán)值大小根據(jù)該分類器的效果而定。最后的分類器由生成的多個(gè)分類器加權(quán)聯(lián)合產(chǎn)生。圖2-1算法流程2.3.2算法偽代碼描述Adaboost算法是Boosting算法的增強(qiáng)版本，由Freud和Schapire在1995年共同提出，全稱為Adaptive Boost，是一種

26、不需要預(yù)先掌握弱學(xué)習(xí)算法的先驗(yàn)知識(shí)的算法4。Adaboost算法的基本核心是迭代，以改變權(quán)重的方式從多個(gè)弱分類器中選擇并組合成一個(gè)強(qiáng)分類器，然后將多個(gè)強(qiáng)分類器串聯(lián)，達(dá)到圖像檢測的目的。5圖2-2 Adaboost簡單應(yīng)用如圖2-2所示，弱分類器h1和弱分類器h2都不能完美地對(duì)樣本進(jìn)行分類，而Adaboost算法將兩個(gè)弱分類器相結(jié)合，從而獲得一個(gè)近似完美的分類器。設(shè)定一個(gè)訓(xùn)練樣本（x1,y1），（x2,y2），（x3,y3）（xn,yn），其中Xi為n個(gè)輸入樣本，yi為樣本屬性，0，1分別代表正負(fù)樣本，各有u、v個(gè)，顯然滿足n=u+v。經(jīng)過一系列正負(fù)樣本的訓(xùn)練后，篩選出錯(cuò)誤率最低的T個(gè)弱分類器，

27、組合成一個(gè)強(qiáng)分類器。具體步驟如下6 ：（1）初始化誤差權(quán)重wti,定義為第t次循環(huán)的第i個(gè)樣本的誤差權(quán)重，則W1i= yi=0（2-1） yi=1 （2）弱分類器的訓(xùn)練，當(dāng)t=1，2T時(shí)：a.權(quán)重歸一化wtiwti/b.對(duì)于不同特征j，訓(xùn)練弱分類器hj，調(diào)整確定閾值以及偏置系數(shù)p，使錯(cuò)誤j最小c.選擇出最小t，相對(duì)應(yīng)的的弱分類器是htd.根據(jù)這個(gè)最佳弱分類器，調(diào)整權(quán)重：w（t+1,i）=wt,i （2-2）其中，當(dāng)樣本xi被正確分類，ei=0；被錯(cuò)誤分類，則ei=1。（3）強(qiáng)分類器可以表示為： 1 H（x）= （2-3） 0 其它通過觀察這一系列步驟，可以得出通過迭代，權(quán)重系數(shù)不停地在發(fā)生改變

28、，錯(cuò)誤率高的弱分類器被加大權(quán)重，反之則減小，最終得到的強(qiáng)分類器是弱分類器的加權(quán)平均。到1990年，Schapire提出了一種改進(jìn)算法，而這種算法的應(yīng)用最為廣泛。與最初的Freund提出的Adaboost算法基本一致，具體描述如下12：（1）給定一系列學(xué)習(xí)樣本（x1,y1），（x2,y2），（x3,y3）（xn,yn），其中Xi為n個(gè)輸入樣本，yi為樣本屬性標(biāo)志，yi=-1時(shí)，表示為負(fù)樣本（即非人臉）；yi =1時(shí)，表示為正樣本（即人臉）。（2）初始化權(quán)重：D1(Xi)=， i取1,2n。3.設(shè)定T輪訓(xùn)練，對(duì)于t=1，2na.訓(xùn)練弱分類器，ht：X-1，+1b.計(jì)算在該權(quán)值Dt下，弱分類器的錯(cuò)誤

29、率tt=c.給賦予值，=d.對(duì)于權(quán)值進(jìn)行更新Dl+1(xi)= =其中，Zt是歸一化因子。e. T輪訓(xùn)練過后，得到的最終強(qiáng)分類器表達(dá)式為：H（x）=sign()對(duì)于訓(xùn)練過程的物理意義可以這樣闡述：對(duì)于不同的訓(xùn)練樣本，將正確分類的訓(xùn)練樣本減小權(quán)重，以此減少分類器對(duì)于該樣本的“關(guān)注程度”；同樣，反之，將錯(cuò)誤分類的訓(xùn)練樣本增加權(quán)重，以此增加分類器對(duì)于該樣本的“關(guān)注程度”，讓后面的弱分類器強(qiáng)化對(duì)這類樣本的訓(xùn)練。3 Adaboost算法在人臉識(shí)別中的應(yīng)用Adaboost算法根據(jù)人臉面部的主要灰度分布特征，選擇采用了Haar特征。Haar特征是一種基于積分圖像的特征，主要用于灰度圖像中，該特征計(jì)算比較簡單

30、，提取速度相對(duì)較快。Adaboost算法首先提取樣本圖像中的Haar特征，然后通過在訓(xùn)練過程中選取出最優(yōu)的Haar特征，再將訓(xùn)練得出的Haar特征轉(zhuǎn)換成弱分類器，最后將得到的所有弱分類器然后采用“投票委員會(huì)”(加法模型)的方式將這些弱分類器組合成一個(gè)強(qiáng)分類器；最后通過cascade級(jí)聯(lián)算法將多個(gè)強(qiáng)分類器組合成為一個(gè)更加復(fù)雜的系統(tǒng)用于人臉檢測?；贏daboost算法的人臉檢測方法最初由Viola等人于2001年提出，從根本上解決了人臉檢測的速度問題，而且能夠達(dá)到較好的識(shí)別效果。3.1Haar-like 矩形特征基于模版匹配和部分人工神經(jīng)網(wǎng)絡(luò)的人臉檢測方法都是直接選取圖像的原始像為分類的依據(jù)，這

31、種做法簡單易行但主要有以下不足:1信息含量少。對(duì)于圖像大小為MxN的訓(xùn)練樣本，以原始像素作為輸入只有MxN個(gè)值。如果單純?cè)黾訄D像大小又會(huì)影響處理速度(見第3點(diǎn))。2可分性不高由于原始像素信息含量較少，屬于低級(jí)特征，作為分類依據(jù)時(shí)，相對(duì)來講類內(nèi)藕合度不高而類間聚合度較高，通常都需要對(duì)原始信息作進(jìn)一步處理。例如PCA(主成分分析)等方法就是將圖像向最佳分類空間投影以提高分類效果。3處理速度慢由于選取原始像素作為輸入，在訓(xùn)練和最終檢測時(shí)都須要對(duì)目標(biāo)區(qū)域所有像素進(jìn)行一遍掃描，尤其是在檢測時(shí)對(duì)目標(biāo)進(jìn)行多尺度金字塔掃描時(shí)(如圖3-1所示)，運(yùn)算尤為巨大。這是造成這類方法速度慢的根本原因之一。圖3-1鑒于以

32、上原因，本文使用矩形特征作為分類的依據(jù)。矩形特征的值是指圖像上兩個(gè)或多個(gè)形狀大小相同的矩形內(nèi)部所有像素灰度值之和差值。在Viola的系統(tǒng)中，使用了三類五種矩形特征原型，如圖3-2所示。一幅大小為MxN的圖像所含所有矩形特征的個(gè)數(shù)至少為(不考慮圖像的同構(gòu)):由此可見以矩形特征所含的信息量十分巨大，一般只選擇基本的特征作為分類依據(jù)，因?yàn)閺?fù)雜特征可以由基本特征縮放和組合得到。基本特征可由特征原型位移和縮放得到。圖3-2由圖可見，Viola的系統(tǒng)中的五種矩形特征原型主要體現(xiàn)了水平和垂直方向上的信息。本文最終選取了三類十四種基本特征原型(見圖3-3)。第一類為邊緣特征，反映了圖像邊緣的信息;第二類為線性

33、特征，反映了圖像在線性方向上的信息:第三類為區(qū)域特征，反應(yīng)了圖像上中心和周圍的差異特征。圖3-33.1.1 特征值假設(shè)目標(biāo)窗口或訓(xùn)練集圖像大小為WxH個(gè)像素，那么一個(gè)矩形可以定義為: ，其中(x，y)是偏移位置，w，h分別為矩形的寬和高。0x，x+wW，0y，y+hH，x,y0，w,h0，a0.45，如圖3-4所示。圖3-4 矩形定義并定義矩形r中的像素和定義為Recsum(r)。那么圖像中所有的特征可以定義為如下形式: （3.1）其中w;為比重。例如假設(shè)圖3-3中矩形特征Za的高為1，寬為6，在圖像中的位置為(10,20)，那么其特征可以按如下方式計(jì)算: 每種基本特征原型派生(位置變化，大小

34、變化，如圖3-5所示)出的基本特征非常多，特征的個(gè)數(shù)隨著類型的不同以及圖像大小的變化而變化，但可以按如下公式計(jì)算:X表示在寬度方向上的放大倍數(shù)，Y表示在高度方向上的放大倍數(shù)。WXH對(duì)于原始大小為wxh的正直特征原型，其派生后的基本特征個(gè)數(shù)7為: (3.2)圖3-5表3-1列出了圖3-3中的十四種特征原型分別在大小為19x19和24x24的圖像上所產(chǎn)生的基本特征總數(shù)。表3-1 基本特征總數(shù)3.1.2積分圖像積分圖像在圖形學(xué)中也稱SulnlnedArea表，SulnlnedArea表通常用來進(jìn)三維物體的紋理影射8和計(jì)算三維物體的不透明度9。sulnlnedArea表示用于一個(gè)在矩形區(qū)域上快速積分的

35、一個(gè)離散函數(shù)的數(shù)據(jù)結(jié)構(gòu)。圖3-6顯示了一個(gè)二維的Sumed一Area表用于積分一個(gè)兩個(gè)參數(shù)的離散函數(shù)。針對(duì)這個(gè)函數(shù)的SulnlnedArea表是一個(gè)由離散函數(shù)f計(jì)算得到的SAT(x，y)值的二維數(shù)組。SAT(x，y)定義為從圖像左上角原點(diǎn)(O，0)到右下角(x，y)這一區(qū)域上f(x，y)的積分。對(duì)于二維圖像來說，f(x，y)是像素(x，y)的值，本文采用的是像素的灰度值。即: (3.3)對(duì)于任意一個(gè)輸入圖像工只需要對(duì)圖像從上到下，從左到右掃描一次就可以在固定時(shí)間內(nèi)計(jì)算出該圖像的積分圖像(圖3-6): (3.4)其中利用積分圖像，對(duì)于任意一個(gè)正直矩形r=(x，y，w，h，0)的像素值之和可以通過

36、查詢四次積分圖像獲得(圖3-6): (3.5)圖3-6(a)為SAT示意圖，左上角是（0,0），（b）為計(jì)算任意一正直矩形的方法示意圖對(duì)于旋轉(zhuǎn)矩形的計(jì)算，則可以構(gòu)造轉(zhuǎn)積分圖像。旋轉(zhuǎn)積分圖像即RotatedSununedArea表，RSAT(x，y)給出了旋轉(zhuǎn)45度的最右點(diǎn)為(x，y)矩形區(qū)域與圖像邊界內(nèi)的像素值之和(圖3-7): （3.6）對(duì)于任意一個(gè)輸入圖像I，RSAT的計(jì)算可以分兩步完成，第一步從上到下從左到右掃描輸入圖像I(圖3-7): （3.7）其中第一步完成后RSAT(x，y)的值是區(qū)域內(nèi)像素縱坐標(biāo)值大于y的像素值之和。第二步從下到上從右到左計(jì)算(圖3-7): （3.8）對(duì)于任意旋轉(zhuǎn)

37、矩形r=(x，y，w，h，45)的像素值之和也只需通過查詢四次RSAT表獲得(圖4-7): （3.9） 圖3-7（a）為TSAT表，（b）為構(gòu)造TSAT表的第一步，（c） 構(gòu)造TSAT表的第二部（d）構(gòu)造任意旋轉(zhuǎn)矩形的方法3.2 Adaboost 訓(xùn)練算法每一個(gè)Haar特征對(duì)應(yīng)于一個(gè)弱分類器，可是并不任何一個(gè)Haar特征都能夠較好的描述人臉灰度分布中的某一特點(diǎn)，如何從大量的Haar特征中挑出最優(yōu)的Haar特征并制成分類器用到人臉檢測中，這是Adaboost算法訓(xùn)練需要解決的關(guān)鍵問題。訓(xùn)練過程分為四個(gè)步驟，首先選取訓(xùn)練樣本，提取Haar特征；然后將Haar特征轉(zhuǎn)化成對(duì)應(yīng)的弱分類器；最后從大量的弱

38、分類器中迭代選擇出最優(yōu)弱分類器。3.2.1 訓(xùn)練樣本的選擇首先，訓(xùn)練樣本的要求是人的面部特寫圖像，但是由于人臉的形態(tài)千差萬別，所以訓(xùn)練樣本在選取過程中需要考慮到樣本的多樣性，在使用訓(xùn)練樣本前需要進(jìn)行一些簡單的預(yù)處理，樣本的大小也應(yīng)該統(tǒng)一。大量研究表明認(rèn)為可以被檢測到的人臉圖像最小分辨率是1919像素。訓(xùn)練樣本可以通過到某些研究機(jī)構(gòu)的網(wǎng)站獲取，也可以自己手工裁剪制作完成。便于Adaboost算法研究使用的人臉數(shù)據(jù)庫有MIT-CBCL、MITEx、AT&T、BioID，本文使用MITEx人臉庫，庫中正面姿態(tài)人臉圖像2706幅，非人臉4381幅，圖像大小2424像素。3.2.2 Haar 特征提取常

39、用的Haar特征有6種，如圖3-8所示。當(dāng)然根據(jù)實(shí)際情況也可以在這6種特征基礎(chǔ)上設(shè)計(jì)出一些更多、更復(fù)雜的特征。本文以大小為2424像素的訓(xùn)練樣本為例，由表3.2所示6種特征的總數(shù)量達(dá)到了183072個(gè)。這個(gè)龐大的數(shù)字給后續(xù)的迭代訓(xùn)練工作帶來了非常龐大的計(jì)算量，直接的后果是Adaboost算法的訓(xùn)練過程相當(dāng)費(fèi)時(shí)，這恰恰是此算法訓(xùn)練過程需要改進(jìn)的關(guān)鍵問題。3.2.3 弱分類器的生成每一個(gè)Haar特征都對(duì)應(yīng)著一個(gè)弱分類器，每一個(gè)弱分類器都是根據(jù)它所對(duì)應(yīng)的Haar特征的參數(shù)來定義的。利用上述Haar特征的位置信息，對(duì)訓(xùn)練樣本進(jìn)行統(tǒng)計(jì)就可以得到對(duì)應(yīng)的特征參數(shù)。在Viola的文獻(xiàn)中，每個(gè)特征對(duì)應(yīng)一個(gè)弱分類

40、器，由弱學(xué)習(xí)算法來訓(xùn)練，找出一個(gè)最佳的閾值，并使分類的錯(cuò)誤最小。這種單閾值的弱分類器的形弱分類器的構(gòu)造如下： (3.10)其中，為弱分類器的值, 為通過弱學(xué)習(xí)算法的訓(xùn)練而得到的特征值的閾值，也稱為弱分類器的閾值。表示不等號(hào)的方向，只能取值 1。表示矩形特征值，x表示一個(gè) 2424 像素的 Haar-like 矩形特征。根據(jù)統(tǒng)計(jì)方式的不同，弱分類器又可分成單閾值分類器及雙閾值分類器兩類。單閾值分類器只有一個(gè)，一個(gè)方向值；單閾值分類器充分體現(xiàn)了 Haar 特征中的“黑白”兩個(gè)部分的灰度值的對(duì)比特點(diǎn)，以兩個(gè)區(qū)域間的灰度值是否具有一定差異作為分類依據(jù)。雙閾值分類器具有上、下限兩個(gè)閾值，這兩個(gè)閾值分別對(duì)

41、應(yīng)兩個(gè)方向參數(shù)。弱分類器的輸出結(jié)果為 1 或者 0，輸出 1 表示判斷是真，也就是被判斷為人臉圖像，反之是假即非人臉圖像。單個(gè)弱分類器的分類能力非常有限，并不能有效的處理對(duì)象，所以還要將其合并成強(qiáng)分類器來使用。3.2.4 強(qiáng)分類器的生成弱分類器只是挑選出來的一些比隨機(jī)猜測效果稍好的分類器，如何將它們組合為一個(gè)強(qiáng)分類器以達(dá)到較好的分類效果是非常重要的。我們采用將多個(gè)弱分類器組合起來進(jìn)行投票表決的方式來組成強(qiáng)分類器，每個(gè)弱分類器根據(jù)他們自身分類精度的不同而分別被賦予不同的投票權(quán)值，如果候選矩形區(qū)域通過了該弱分類器，則它的投票權(quán)值會(huì)累加起來。經(jīng)過T 次迭代后，獲得了T 個(gè)最佳弱分類器，可以按照下面的

42、方式組合成一個(gè)強(qiáng)分類器： (3.11)其中，。所以最終生成的強(qiáng)分類器的輸出：（3.12） （3.13）所以， （3.14）其中，即最終強(qiáng)分類器的輸出取決于各弱分類器的整體投票判定結(jié)果是否大于平均投票結(jié)果。如果按強(qiáng)分類器表達(dá)式的表面來理解，假設(shè)所有的弱分類器投“贊成”票和投“反對(duì)”票的概率都相同，則可以求出一個(gè)概率平均，即平均投票結(jié)果為，所以，強(qiáng)分類器的輸出結(jié)果為所有弱分類器投票加權(quán)求和的結(jié)果與平均投票結(jié)果作比較得出的最終結(jié)果。3.2.5多層級(jí)聯(lián)分類器的設(shè)計(jì)單個(gè)弱分類器的分類能力其實(shí)相當(dāng)弱，不能拿來直接做分類用，還需先將這些弱分類器合并，形成一些性能較好的強(qiáng)分類器，并且每個(gè)強(qiáng)分類器都應(yīng)有一定的分

43、類能力。如何設(shè)計(jì)級(jí)聯(lián)分類器，使分類器能夠在比較好的排除負(fù)樣本的情況下盡可能檢測到正樣本，本文將在下面討論。利用訓(xùn)練得到的弱分類器，使用公式（3.14）可以將部分弱分類器合并成若干強(qiáng)分類器，每個(gè)強(qiáng)分類器對(duì)于人臉都有比較強(qiáng)的檢測能力。如果能將多個(gè)強(qiáng)分類器級(jí)聯(lián)到一起，那么能通過各級(jí)強(qiáng)分類器檢測的對(duì)象為人臉的可能性會(huì)比較大。因此，Adaboost算法引入了一種類瀑布型的分類器-級(jí)聯(lián)分類器。級(jí)聯(lián)分類器如圖3-9所示：圖3-9從圖3-9可以看出，對(duì)于一個(gè)待檢測圖像，它首先被送到強(qiáng)分類器1，如果該圖像被判別為非人臉，則檢測過程結(jié)束，否則被送到強(qiáng)分類器2，依此類推。級(jí)聯(lián)分類器將若干個(gè)強(qiáng)分類器分級(jí)串聯(lián)在一起，強(qiáng)

44、分類器一級(jí)比一級(jí)復(fù)雜，一級(jí)比一級(jí)嚴(yán)格。只有通過所有分類器的圖像才會(huì)被認(rèn)為是人臉圖像。所以，這種多層分類結(jié)構(gòu)的優(yōu)勢就是，通過多個(gè)分類器的集成作用可以使誤檢率大大降低，同時(shí)由于采用了多層結(jié)構(gòu)的分類器，使檢測中非人臉圖像會(huì)在前端被排除掉，只有人臉圖像才能通過各級(jí)強(qiáng)分類器的檢測。此外，由于非人臉圖像會(huì)被級(jí)聯(lián)分類器的前幾級(jí)迅速排除掉，從而加快了Adaboost算法的檢測速度。級(jí)聯(lián)分類器需要各級(jí)分類器從簡單到復(fù)雜，一級(jí)要比一級(jí)嚴(yán)格，這樣才能夠保證最少的時(shí)間排除出最多的非人臉。這就要求我們?cè)谠O(shè)計(jì)級(jí)聯(lián)分類器的過程中要遵循一定的原則，但到現(xiàn)在，還沒有固定的設(shè)計(jì)模式可用，這主要是因?yàn)橛?xùn)練樣本的不同而導(dǎo)致訓(xùn)練結(jié)果各

45、不相同。雖然當(dāng)前沒有一個(gè)固定的設(shè)計(jì)模式，但是大量文獻(xiàn)提出了一個(gè)指導(dǎo)性的原則：就是在盡可能的保障人臉圖像通過率的同時(shí)，減少非人臉圖像的通過率。隨著分類器級(jí)數(shù)的一級(jí)級(jí)增長，組成每個(gè)強(qiáng)分類器的弱分類器個(gè)數(shù)會(huì)不斷增加，對(duì)從其通過的要求也會(huì)越來越嚴(yán)格，直到所有的非人臉樣本都無法通過為止，同時(shí)這一過程始終要保證人臉樣本盡可能的通過。由于多層級(jí)聯(lián)分類器的每一層都是一個(gè)用Adaboost 方法訓(xùn)練得到的強(qiáng)分類器，所以整個(gè)多層級(jí)聯(lián)分類器的訓(xùn)練過程也就是一個(gè)利用Adaboost學(xué)習(xí)算法來構(gòu)造各個(gè)強(qiáng)分類器的過程。級(jí)聯(lián)分類器的訓(xùn)練算法10如下：（1） 設(shè)定每層最大誤檢率每層最小檢測率和整個(gè)檢測器的目標(biāo)誤檢率。已知正例

46、（人臉）樣本集合 P 和反例（非人臉）樣本集合 N （代表從第一層到第i層的總誤檢率，代表從第一層到第 i 層總檢測率）（2） 初始化： =1.0，=1.0， i =0；（3） 當(dāng)時(shí)，做如下循環(huán)：a) i i+1；b) =0 ，（其中，是第 i 層所選類 Haar 特征的個(gè)數(shù)）c) 當(dāng)時(shí)，進(jìn)行如下循環(huán)：在正例樣本集合 P 和反例樣本集合 N 中，用 Adaboost 訓(xùn)練有個(gè)特征的分類器；估計(jì)當(dāng)前級(jí)聯(lián)分類器的和;降低第i層分類器的閾值，直到當(dāng)前級(jí)聯(lián)分類器的檢測率。d) 反例樣本集合 N 賦為空。e) 若，則用當(dāng)前級(jí)聯(lián)分類器掃描非人臉圖片，收集所有誤檢樣本到集合 N 中。強(qiáng)分類器越復(fù)雜，越嚴(yán)格，

47、對(duì)非人臉的排除能力就會(huì)越強(qiáng)，但同時(shí)也導(dǎo)致部分人臉圖像被錯(cuò)誤地排除，所以生成級(jí)聯(lián)分類器的時(shí)候需要從整體上把握各級(jí)強(qiáng)分類器的分類能力。隨著級(jí)聯(lián)分類器級(jí)數(shù)的不斷增加，誤檢率會(huì)迅速下降，但同時(shí)漏檢率也會(huì)在上升。級(jí)聯(lián)分類器的使用提升了分類器的檢測能力，同時(shí)也加速了非人臉的排除，從而達(dá)到了優(yōu)化檢測過程的效果。3.2.6 Adaboost 算法的檢測過程Adaboost算法構(gòu)建人臉檢測系統(tǒng)分為兩個(gè)部分：訓(xùn)練部分與檢測部分。如圖3-10所示：圖3-10（1）訓(xùn)練部分收集訓(xùn)練樣本，包括人臉樣本與非人臉樣本，并對(duì)訓(xùn)練樣本進(jìn)行預(yù)處理，包括彩色圖像轉(zhuǎn)化為灰度圖像、圖像縮放成 24 24標(biāo)準(zhǔn)大小等；利用積分圖算法從訓(xùn)練

48、樣本集中提取所有矩形特征；把矩形特征作為訓(xùn)練過程的輸入，訓(xùn)練過程按照 Adaboost 學(xué)習(xí)算法進(jìn)行，訓(xùn)練的目標(biāo)是最終生成一個(gè)多層級(jí)聯(lián)分類器。這個(gè)多層分類器由若干個(gè)強(qiáng)分類器級(jí)聯(lián)而成，每個(gè)強(qiáng)分類器則由若干個(gè)弱分類器組成，每個(gè)若分類器對(duì)應(yīng)一個(gè)按照一定規(guī)則選擇出來的矩形特征。（2）檢測部分首先對(duì)被檢測圖像進(jìn)行預(yù)處理，即彩色圖像轉(zhuǎn)化為灰度圖像。然后利用積分圖計(jì)算灰度圖像的矩形特征，最后利用訓(xùn)練得到的多層級(jí)聯(lián)分類器對(duì) Harr 特征進(jìn)行檢測，再對(duì)檢測結(jié)果進(jìn)行合并等后處理，最后就可以得到最終的檢測結(jié)果。3.3本章小結(jié)本章詳細(xì)介紹了基于Adaboost算法的人臉檢測過程，包括了詳細(xì)分析了Haar特征的選取，

49、積分圖快速計(jì)算方法、基于級(jí)聯(lián)結(jié)構(gòu)的分類器的訓(xùn)練、以及檢測人臉的流程。其中著重介紹了如何利用積分圖快速計(jì)算Haar特征值、訓(xùn)練弱分類器的方法、如何利用Adaboost算法訓(xùn)練強(qiáng)分類器以及級(jí)聯(lián)分類器，從而實(shí)現(xiàn)人臉檢測系統(tǒng)。4用MATLAB對(duì)ADABOOST算法進(jìn)行仿真4.1程序流程4.2使用說明進(jìn)入到程序目錄圖4-1打開文件,根據(jù)需要更改參數(shù)圖4-2回到工作窗口,運(yùn)行main命令圖4-3得到運(yùn)行結(jié)果圖4-4圖4-54.3參數(shù)設(shè)置param_file.mM1=100; % Quantity of setAM2=100; % Quantity of setBA1=0; % the range of R

50、adius (01)B1=1;D1=1; % sigma AA2=0; % the range of Radius (04)B2=4;D2=1; % sigma B acc=100;% Accuracy of lines itt = 50; save my_param;圖4-6M1、M2 分別為集合A，B的總個(gè)數(shù), 半徑服從正態(tài)分布A1 B1 是集合A的半徑分布，D1集合A的均方差A(yù)2B2是集合B的半徑分布，D2 集合B的均方差A(yù)cc 是弱分類器的精度，Itt 是算法的循環(huán)次數(shù)4.4程序結(jié)果圖4-6左上圖，表示原始的點(diǎn)的分布。右上圖，表示選擇出來的直線級(jí)聯(lián)成的強(qiáng)分類器。左下圖，表示最終誤碼率的走勢圖，縱坐標(biāo)為最終誤碼率，橫坐標(biāo)為循環(huán)次數(shù)，標(biāo)題為最后一次的最終誤碼率結(jié)果。右下圖，為強(qiáng)分類器在新的十個(gè)樣本下的驗(yàn)證結(jié)果，標(biāo)題為十次驗(yàn)證后誤碼率的平均值。 圖4-8顯示的是程序的運(yùn)行總時(shí)間4.5分析結(jié)果1 最后訓(xùn)練的強(qiáng)分類器的訓(xùn)練結(jié)果與樣本點(diǎn)的取值參數(shù)有關(guān)。隨著兩個(gè)子集的半徑相距增大大，強(qiáng)分類其的最終誤碼率趨近于0.2 訓(xùn)練結(jié)果與驗(yàn)證結(jié)果存在一定誤差，這是訓(xùn)練的特殊性造成的。但隨著訓(xùn)練精度的增加，驗(yàn)證結(jié)果也會(huì)更靠近訓(xùn)練誤差。4.6附錄ccc.mclo