第十章半監(jiān)督學(xué)習(xí)

研究背景ImageNet數(shù)據(jù)集——圖像分類數(shù)據(jù)DOTA數(shù)據(jù)集——目標(biāo)檢測(cè)數(shù)據(jù)集深度學(xué)習(xí)方法性能大量標(biāo)注數(shù)據(jù)依賴獲取引言研究背景缺乏大量的標(biāo)注數(shù)據(jù)，獲取標(biāo)注數(shù)據(jù)成本大，如遙感領(lǐng)域、醫(yī)學(xué)領(lǐng)域訓(xùn)練過程中有從未見過的新類，新類只能借助少數(shù)標(biāo)注樣本訓(xùn)練樣本數(shù)量不足，限制了已有很多分類模型、檢測(cè)模型的泛化性能如何將少量標(biāo)注數(shù)據(jù)上學(xué)習(xí)到的知識(shí)和大量未標(biāo)記數(shù)據(jù)上的信息共同利用？小樣本問題高光譜遙感影像醫(yī)學(xué)影像光學(xué)遙感影像引言傳統(tǒng)機(jī)器學(xué)習(xí)分兩類：監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)利用有標(biāo)記樣本進(jìn)行學(xué)習(xí)，對(duì)標(biāo)記樣本的數(shù)量要求較多；無(wú)監(jiān)督學(xué)習(xí)僅僅是對(duì)未標(biāo)記樣本進(jìn)行學(xué)習(xí)，不能保證精度。現(xiàn)實(shí)情況下，同時(shí)存在有標(biāo)記樣本和未標(biāo)記樣本的情況也會(huì)經(jīng)常出現(xiàn)。引言實(shí)際上，未標(biāo)記樣本雖然沒有直接含有類別標(biāo)記信息，但如果它們和有標(biāo)記樣本是從相同的數(shù)據(jù)中獨(dú)立同分布采樣得到的，則它們包含的有關(guān)數(shù)據(jù)分布的信息對(duì)學(xué)習(xí)模型有很大幫助。如何讓學(xué)習(xí)過程不依賴外界的咨詢交互，自動(dòng)利用未標(biāo)記樣本所含信息來(lái)提高模型性能便是本專題所要介紹的內(nèi)容，即半監(jiān)督學(xué)習(xí)(Semi-SupervisedLearning，SSL)。引言目錄10.1半監(jiān)督學(xué)習(xí)10.2半監(jiān)督分類10.3半監(jiān)督聚類10.4應(yīng)用實(shí)例10.5延伸閱讀目錄10.1半監(jiān)督學(xué)習(xí)10.2半監(jiān)督分類10.3半監(jiān)督聚類10.4應(yīng)用實(shí)例10.5延伸閱讀10.1半監(jiān)督學(xué)習(xí)在互聯(lián)網(wǎng)應(yīng)用中，有一項(xiàng)叫做網(wǎng)頁(yè)推薦，其應(yīng)用十分廣泛。在商家進(jìn)行網(wǎng)頁(yè)推薦時(shí)，需要用戶先對(duì)感興趣的網(wǎng)頁(yè)進(jìn)行標(biāo)記。實(shí)際上，有標(biāo)記的網(wǎng)頁(yè)樣本是少數(shù)的。僅僅利用少部分有標(biāo)記網(wǎng)頁(yè)來(lái)進(jìn)行訓(xùn)練，得到的模型泛化能力不會(huì)太好。互聯(lián)網(wǎng)上存在著無(wú)數(shù)網(wǎng)頁(yè)可以用作未標(biāo)記樣本，能不能有效的利用這些未標(biāo)記網(wǎng)頁(yè)來(lái)提高模型的性能呢？10.1半監(jiān)督學(xué)習(xí)將這個(gè)問題形式化，用具體的公式符號(hào)來(lái)表示。訓(xùn)練樣本集類別標(biāo)記是已知的，稱為“有標(biāo)記”（labeled）樣本。樣本集類標(biāo)標(biāo)記是未知的，稱為“未標(biāo)記”（unlabeled）樣本。10.1半監(jiān)督學(xué)習(xí)一般思路僅利用已標(biāo)記樣本集中的樣本進(jìn)行模型構(gòu)建。弊端未標(biāo)記樣本集中的信息就會(huì)被浪費(fèi)，此外，樣本數(shù)量一般較小，也就是說訓(xùn)練樣本數(shù)量不足，那么學(xué)習(xí)得到的模型的泛化能力和性能往往是不好的。解決思路合理的結(jié)合使用樣本集。10.1半監(jiān)督學(xué)習(xí)解決思路一把中的樣本全部進(jìn)行標(biāo)記，也就是把未標(biāo)記樣本轉(zhuǎn)化成標(biāo)記樣本后用于學(xué)習(xí)。弊端顯然需要大量精力和時(shí)間。10.1半監(jiān)督學(xué)習(xí)解決思路二可以利用中的樣本先學(xué)習(xí)得到一個(gè)模型，然后利用這個(gè)模型從中挑出一個(gè)樣本，對(duì)這個(gè)樣本的標(biāo)簽進(jìn)行查詢，然后把這個(gè)獲得標(biāo)簽的樣本作為新的標(biāo)記樣本加入中重新學(xué)習(xí)一個(gè)模型，之后再去中挑樣本，不斷重復(fù)這個(gè)操作。這樣的學(xué)習(xí)方式被稱為主動(dòng)學(xué)習(xí)（ActiveLearning）。其目標(biāo)是希望盡可能少的查詢標(biāo)簽來(lái)獲得盡量好的模型性能。10.1半監(jiān)督學(xué)習(xí)弊端顯然主動(dòng)學(xué)習(xí)引入了額外的專家知識(shí)，仍然需要與外界產(chǎn)生交互來(lái)將部分未標(biāo)記樣本轉(zhuǎn)變?yōu)橛袠?biāo)記樣本。10.1半監(jiān)督學(xué)習(xí)解決思路三利用未標(biāo)記樣本提供的數(shù)據(jù)分布的信息。聚類模型（a）無(wú)未標(biāo)記樣本（b）有未標(biāo)記樣本（a）（b）10.1半監(jiān)督學(xué)習(xí)以上這樣的學(xué)習(xí)方式被稱為半監(jiān)督學(xué)習(xí)。讓學(xué)習(xí)器不依賴外界交互、自動(dòng)的利用未標(biāo)記樣本來(lái)提升學(xué)習(xí)性能，就是半監(jiān)督學(xué)習(xí)（Semi-SupervisedLearning，SSL）。即訓(xùn)練集中同時(shí)包含有標(biāo)記樣本數(shù)據(jù)和未標(biāo)記樣本數(shù)據(jù)。10.1半監(jiān)督學(xué)習(xí)兩個(gè)前提假設(shè)聚類假設(shè)（ClusterAssumption）：假設(shè)數(shù)據(jù)存在簇結(jié)構(gòu)，同一個(gè)簇的樣本屬于同一個(gè)類別。流形假設(shè)（ManifoldAssumption）：假設(shè)數(shù)據(jù)分布在一個(gè)流形結(jié)構(gòu)上，鄰近的樣本擁有相似的輸出值。10.1半監(jiān)督學(xué)習(xí)一個(gè)更一般的假設(shè)半監(jiān)督假設(shè)：如果兩個(gè)樣本相似，那么他們具有相似的輸出。聚類假設(shè)（ClusterAssumption）流形假設(shè)（ManifoldAssumption）10.1半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)的分類純（pure）半監(jiān)督學(xué)習(xí)直推學(xué)習(xí)（TransudativeLearning）目錄10.1半監(jiān)督學(xué)習(xí)10.2半監(jiān)督分類10.3半監(jiān)督聚類10.4應(yīng)用實(shí)例10.5延伸閱讀10.2半監(jiān)督分類半監(jiān)督學(xué)習(xí)的提出半監(jiān)督學(xué)習(xí)提出于大約20世紀(jì)60年代中期，隨著在應(yīng)用中利用未標(biāo)記數(shù)據(jù)的需求的發(fā)展，提出了許多半監(jiān)督思想的算法。生成式模型是最早的半監(jiān)督學(xué)習(xí)方法，緊接著出現(xiàn)了轉(zhuǎn)導(dǎo)SVM（TransductiveSVM，TSVM）、基于圖的半監(jiān)督算法等一系列經(jīng)典算法。10.2半監(jiān)督分類10.2.1生成式模型給定樣本，類別標(biāo)記為假設(shè)樣本是由高斯混合模型生成的。且每一個(gè)類別都對(duì)應(yīng)一個(gè)高斯混合成分，數(shù)據(jù)是由如下概率密度生成：為混合系數(shù)；是樣本屬于第個(gè)高斯混合成分的概率；和為高斯混合成分的參數(shù)10.2半監(jiān)督分類通過標(biāo)記與未標(biāo)記樣本預(yù)測(cè)模型的參數(shù)用表示模型對(duì)樣本的預(yù)測(cè)值，是樣本隸屬的高斯混合成分。最大化后驗(yàn)概率得

是第個(gè)高斯混合成分生成且類別為的概率10.2半監(jiān)督分類其中是樣本由第個(gè)高斯混合成分生成的后驗(yàn)概率10.2半監(jiān)督分類在上式中，要想估計(jì)，需要已知樣本的標(biāo)記，也就是說要必須使用有標(biāo)記樣本，而中則不需要有標(biāo)記樣本。這樣，就可以同時(shí)利用有標(biāo)記和未標(biāo)記樣本。高斯混合模型10.2半監(jiān)督分類參數(shù)求解過程假設(shè)給定了有標(biāo)記數(shù)據(jù)集，未標(biāo)記數(shù)據(jù)集。假設(shè)所有樣本獨(dú)立同分布且由同一個(gè)高斯混合模型生成。使用極大似然估計(jì)得到高斯混合模型的參數(shù)。使用EM算法對(duì)其參數(shù)進(jìn)行求解。10.2半監(jiān)督分類使用極大似然估計(jì)得到高斯混合模型的參數(shù)的對(duì)數(shù)似然可以寫作第一項(xiàng)是基于有標(biāo)記數(shù)據(jù)的有監(jiān)督項(xiàng)，第二項(xiàng)是基于未標(biāo)記數(shù)據(jù)的無(wú)監(jiān)督項(xiàng)10.2半監(jiān)督分類使用EM算法對(duì)其參數(shù)

進(jìn)行求解E步驟：根據(jù)目前的模型各參數(shù)計(jì)算未標(biāo)記樣本

屬于各高斯混合成分的概率。10.2半監(jiān)督分類使用EM算法對(duì)其參數(shù)進(jìn)行求解M步驟：根據(jù)重新更新模型參數(shù)。

表示第類中有標(biāo)記數(shù)據(jù)的個(gè)數(shù)10.2半監(jiān)督分類小結(jié)將此過程中的高斯混合模型替換成其他各類模型，可以得到其他多種生成式半監(jiān)督模型。如果使用的模型不能和真實(shí)數(shù)據(jù)的分布相符合，那么采用未標(biāo)記數(shù)據(jù)會(huì)降低模型的性能，方法就不再有效。在實(shí)際應(yīng)用中，很難得到一個(gè)正確的模型假設(shè)，所以此方法實(shí)用性并不高。10.2半監(jiān)督分類10.2.2半監(jiān)督SVM鑒于支持向量機(jī)（SVM）在模式識(shí)別領(lǐng)域的蓬勃發(fā)展，研究人員將其推廣到了半監(jiān)督學(xué)習(xí)領(lǐng)域，產(chǎn)生了半監(jiān)督SVM，其中使用最廣泛的是TSVM。在統(tǒng)計(jì)學(xué)習(xí)中，轉(zhuǎn)導(dǎo)推理（TransductiveInference）是一種通過觀察特定的訓(xùn)練樣本，進(jìn)而預(yù)測(cè)特定的測(cè)試樣本的方法。將轉(zhuǎn)導(dǎo)的思想應(yīng)用于半監(jiān)督學(xué)習(xí)中與SVM結(jié)合，進(jìn)而形成TSVM。10.2半監(jiān)督分類TSVM針對(duì)的問題與標(biāo)準(zhǔn)SVM相同，TSVM針對(duì)的是二分類問題。TSVM的實(shí)現(xiàn)框架首先將未標(biāo)記樣本都分別看作正例或者反例。在所有這些結(jié)果中，尋求一個(gè)在所有樣本上間隔最大化的劃分超平面。當(dāng)劃分超平面確定后，未標(biāo)記樣本最終的標(biāo)記也就是它的預(yù)測(cè)結(jié)果。10.2半監(jiān)督分類TSVM算法給定標(biāo)記樣本集和未標(biāo)記樣本集，且目標(biāo)是給出中的樣本的預(yù)測(cè)標(biāo)記使得劃分超平面具有最大邊界。10.2半監(jiān)督分類即10.2半監(jiān)督分類小結(jié)TSVM是一個(gè)時(shí)間和計(jì)算復(fù)雜度都十分高的算法。因此，半監(jiān)督SVM需要重點(diǎn)研究如何設(shè)計(jì)出高效的優(yōu)化策略。10.2半監(jiān)督分類10.2.3

基于圖的半監(jiān)督學(xué)習(xí)對(duì)于一個(gè)樣本集，我們可以把其樣本之間的關(guān)系用一個(gè)圖來(lái)表示，其中每個(gè)樣本對(duì)應(yīng)圖中的一個(gè)節(jié)點(diǎn)。如果兩個(gè)樣本直接的相關(guān)性很高，則對(duì)應(yīng)的兩個(gè)結(jié)點(diǎn)之間會(huì)存在一條邊并且邊的權(quán)重和樣本之間的相似度成正比。代表算法：一種多分類標(biāo)記傳播算法。10.2半監(jiān)督分類一種多分類標(biāo)記傳播算法假設(shè)給定標(biāo)記樣本集和未標(biāo)記樣本集，且，。首先用建立一個(gè)圖，節(jié)點(diǎn)集為，邊集可以用一個(gè)矩陣表示。常使用高斯函數(shù)定義。10.2半監(jiān)督分類對(duì)角矩陣和標(biāo)記矩陣定義對(duì)角矩陣的對(duì)角元素。定義一個(gè)大小為的非負(fù)標(biāo)記矩陣，其第行元素為樣本的標(biāo)記向量，其分類準(zhǔn)則為。對(duì)，進(jìn)行初始化。10.2半監(jiān)督分類標(biāo)記傳播矩陣和迭代公式根據(jù)矩陣邊矩陣建立一個(gè)標(biāo)記傳播矩陣，其中，我們得到迭代公式經(jīng)過上式迭代直到收斂可以得到其中，是由用戶個(gè)人控制的參數(shù)10.2半監(jiān)督分類算法步驟10.2半監(jiān)督分類小結(jié)算法復(fù)雜度上存在較大的不足，很難處理大規(guī)模數(shù)據(jù)。在構(gòu)建圖的過程中，只考慮到訓(xùn)練樣本集，很難判斷新的樣本在圖中的位置。在出現(xiàn)新的樣本時(shí)，需要將新樣本加入到原樣本集對(duì)圖進(jìn)行重建且進(jìn)行標(biāo)記傳播。10.2半監(jiān)督分類10.2.4

基于分歧的方法“協(xié)同訓(xùn)練”（Co-Training）一種采用多分類器的基于分歧的方法，最早提出于1998年。使用兩個(gè)學(xué)習(xí)器來(lái)協(xié)同訓(xùn)練，在訓(xùn)練過程中，兩個(gè)分類器挑選置信度較高的已標(biāo)記和未標(biāo)記樣本交給對(duì)方學(xué)習(xí)，直到達(dá)到某個(gè)終止條件。10.2半監(jiān)督分類協(xié)同訓(xùn)練的模型給出一個(gè)樣本空間，其中和對(duì)應(yīng)于一個(gè)樣本的兩種不同“視圖”（View）。一個(gè)樣本往往擁有多個(gè)屬性，在這里，每個(gè)屬性就構(gòu)成了一個(gè)視圖。在此基礎(chǔ)上，每個(gè)樣本可以用一對(duì)來(lái)表示。10.2半監(jiān)督分類前提假設(shè)假設(shè)每個(gè)視圖本身就足以進(jìn)行正確的分類。表示樣本在視圖中的特征向量，表示樣本在視圖中的特征向量。假設(shè)樣本空間的目標(biāo)函數(shù)為，對(duì)于一個(gè)樣本來(lái)說，，其中是樣本的類別標(biāo)記。10.2半監(jiān)督分類相容性概念假用代表樣本空間的一個(gè)分布，和分別是和定義的概念類，如果在上滿足的樣本的概率為0，就稱目標(biāo)函數(shù)與相容，也就是說不同的視圖具有相容性，即它們包含的關(guān)于輸出類別的信息是一致的。10.2半監(jiān)督分類協(xié)同訓(xùn)練的框架假設(shè)擁有兩個(gè)條件獨(dú)立且充分的兩個(gè)視圖和。利用每個(gè)視圖基于有標(biāo)記樣本分別訓(xùn)練得到一個(gè)分類器，然后讓每個(gè)分類器各自去選擇自己“最信任的”的未標(biāo)記樣本賦值一個(gè)偽標(biāo)記，并且把這個(gè)偽標(biāo)記的樣本作為一個(gè)有標(biāo)記樣本提供給另外一個(gè)分類器進(jìn)行訓(xùn)練更新。這個(gè)“互相學(xué)習(xí)”的過程不斷的進(jìn)行迭代，直到達(dá)到迭代的終止條件為止。10.2半監(jiān)督分類算法步驟10.2半監(jiān)督分類不足與改進(jìn)實(shí)際問題中，滿足這兩個(gè)假設(shè)的樣本集是很少的。S.Goldman和Y.Zhou在2000年提出了一種協(xié)同訓(xùn)練算法，該算法不要求樣本集滿足上述的兩個(gè)假設(shè)。Zhou和Li在2007年提出了Tri-training算法，即采用三個(gè)分類器進(jìn)行協(xié)同訓(xùn)練，對(duì)樣本集沒有苛刻的要求。10.2半監(jiān)督分類Tri-training算法對(duì)于每一個(gè)分類器，將剩余的兩個(gè)分類器作為其輔助分類器來(lái)對(duì)未標(biāo)記樣本進(jìn)行分類，標(biāo)記相同的未標(biāo)記樣本就會(huì)被作為置信度較高的樣本。主分類器會(huì)隨機(jī)從中選取一些偽標(biāo)記樣本添加到標(biāo)記樣本集中進(jìn)行訓(xùn)練。每一次被挑選出來(lái)的未標(biāo)記樣本在參與完本輪的迭代后，仍然作為未標(biāo)記樣本保留在未標(biāo)記數(shù)據(jù)集中。10.2半監(jiān)督分類算法概覽首先對(duì)有標(biāo)記樣本集進(jìn)行可重復(fù)抽樣來(lái)獲得三個(gè)有標(biāo)記訓(xùn)練集進(jìn)行初始分類器的訓(xùn)練。在迭代過程中，每個(gè)分類器輪流作為主分類器，其余兩個(gè)作為輔助分類器來(lái)為主分類器提供新的無(wú)標(biāo)記數(shù)據(jù)用來(lái)訓(xùn)練。在進(jìn)行樣本預(yù)測(cè)時(shí)，使用三個(gè)分類器的結(jié)果進(jìn)行投票得到最終的分類標(biāo)記。目錄10.1半監(jiān)督學(xué)習(xí)10.2半監(jiān)督分類10.3半監(jiān)督聚類10.4應(yīng)用實(shí)例10.5延伸閱讀10.3半監(jiān)督聚類聚類是一種典型的無(wú)監(jiān)督學(xué)習(xí)方法，利用少量的標(biāo)記樣本對(duì)聚類算法進(jìn)行輔助。在半監(jiān)督聚類中，被利用的少量監(jiān)督信息的類型有兩種，一種是數(shù)據(jù)對(duì)是否屬于同一類別的約束關(guān)系，另一種則是類別標(biāo)記。根據(jù)對(duì)于少量監(jiān)督信息的使用方式不同，分成兩大類。基于距離的半監(jiān)督聚類算法基于約束的半監(jiān)督聚類算法10.3半監(jiān)督聚類基于距離的半監(jiān)督聚類算法傳統(tǒng)的聚類算法大部分采用的是基于距離的度量準(zhǔn)則來(lái)對(duì)樣本的相似度進(jìn)行描述。不足：對(duì)于距離度量方式的選擇比較困難，沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)來(lái)進(jìn)行衡量。根據(jù)約束或者類別信息來(lái)構(gòu)造某種距離度量，然后在該距離度量的基礎(chǔ)上進(jìn)行聚類。10.3半監(jiān)督聚類基于約束的半監(jiān)督聚類算法利用監(jiān)督信息對(duì)聚類的搜索過程進(jìn)行約束。目前很多半監(jiān)督聚類算法都是在傳統(tǒng)的K-means算法上改進(jìn)而來(lái)的，比如Constrained-K-means算法和Seeded-K-means算法等。10.3半監(jiān)督聚類Constrained-K-means和Seeded-K-means算法在K-means算法的基礎(chǔ)上，引入了由少量標(biāo)記樣本組成的Seed集合，含有全部的K個(gè)聚類簇，每種類別最少有一個(gè)樣本。對(duì)Seed進(jìn)行劃分得到K個(gè)聚類并且基于此來(lái)進(jìn)行初始化，即初始的聚類中心。利用EM算法來(lái)進(jìn)行優(yōu)化步驟。10.3半監(jiān)督聚類兩種算法的區(qū)別與比較優(yōu)化過程有所不同。在Seeded-K-means算法中，Seed集的標(biāo)記是可以發(fā)生改變的，而在Constrained-K-means算法中，Seed集的樣本標(biāo)記是固定的。在不含噪聲的情況下，Constrained-K-means算法的性能較好，而在Seed集中含有噪聲的情況下，Seeded-K-means的性能明顯更優(yōu)。10.3半監(jiān)督聚類小結(jié)半監(jiān)督聚類算法的目標(biāo)是利用少量有標(biāo)記數(shù)據(jù)來(lái)提高聚類算法性能，在實(shí)際情況中具有很大的應(yīng)用價(jià)值。目前半監(jiān)督聚類算法大多數(shù)還都是對(duì)以往聚類算法的改進(jìn)，因此對(duì)半監(jiān)督聚類算法還需進(jìn)行更加深入的研究