1、多元變量典型相關分析的分類：最小二乘配方、擴展和分析摘要典型相關分析（CCA）是一種尋找兩個多維變量之間相關性的著名的技術。它是一項把兩組變量化到一個低維空間中并且使他們之間的相關性最大的工作。CCA通常在兩組變量分別的是來源于數據和類標簽上申請監督降維。眾所周知,CCA可以制定作為在二進制類案件中的一個最小二乘問題。然而,擴展到更一般的變量尚不清楚。在本文中,我們表明,在傾向于保持高維數據的溫和條件,CCA在多元變量的情況下可以制定作為一個最小二乘問題。在此基礎上等價關系,高效的算法求解最小二乘問題可以應用于非常大的數據集規模CCA問題。此外,我們提出幾個CCA擴展,包括基于1規范正規化的稀

2、疏CCA方程式。我們進一步擴展最小二乘方程式為偏最小二乘法。此外,我們表明,投影,讓一群CCA變量是獨立的，正則化在另組多維變量,提供新的見解的影響CCA的正規化。我們使用基準數據集進行了實驗。實驗數據集確認建立了等價關系。結果也證明了CCA擴展的有效性和效率的提議。關鍵字典型相關分析、最小二乘法、多元變量學習,偏最小二乘法、正規化。1 引言典型相關分析(CCA)1是一個眾所周知的尋找兩套多維變量之間的相關性的技術。它使用兩個視圖相同的組對象和項目到一個與他們最相關的低維空間中去。CCA已經成功應用在各種應用中2、3。一個流行的使用CCA是監督式學習,它其中一個觀點是來源于數據并且其他的觀點來

3、源于類標簽。在這種背景，數據可以用標簽信息定向的被投影到一個低維空間。這樣的一個方程式在對多元變量進行降維的情況下是非常的吸引人的。多元線性回歸(多元)即最小平方和成本函數是一種專門研究回歸問題的技術。它還可以被應用于通過定義一個合適的類指標矩陣的分類問題5,6。多元的解決方案基于最小二乘法通過求解一個線性方程組來獲得。一個數量的算法包括共軛梯度算法,可以應用到它有效地解決7。此外,最小二乘方程式可以很容易使用正則化技術進行擴展。例如,1規范可以被納入正規化最小二乘方程式來控制模型復雜性和提高稀疏8。稀疏常常會導致容易解釋和良好的泛化能力。它已經被成功地應用在幾個算法中,包括主成分分析9和支持

4、向量機10。與最小二乘法相比，CCA涉及廣義特征值問題,它解決時，計算更加費時11。此外,它是具有挑戰性的,因為它獲得稀疏CCA時涉及到一個困難稀疏的廣義特征值問題。凸松弛的稀疏CCA的研究12放在,確切的稀疏的CCA配方一直放松在幾個步驟上。另一方面,最小二乘法和CCA已經建立在文學上建立起一個有趣的聯系。特別是,CCA被證明是相當于Fisher線性判別分析(LDA)的二進制類問題13。與此同時,眾所周知,在這種情況下LDA相當于最小二乘法5,6。因此,CCA可以作為一個對于二進制類問題制定最小二乘問題。在實踐中,多元變量問題非常普遍。因此研究它們在更一般的變量中的關系更具誘惑。在本文中,我

5、們研究 CCA和最小二乘在多元變量問題之間的關系。我們表明,在傾向于保持高維數據的溫和條件下,CCA可以作為一個通過制定構造一個特殊類指標矩陣的最小二乘問題。在此等價關系的基礎上,我們提出幾個CCA擴展,包括使用1規范正規化的稀疏CCA。我們表明,最小二乘方程式及其擴展的CCA可以有效地解決。例如,相當于2規范的最小二乘配方和正規化的擴展可以通過計算迭代共軛梯度算法LSQR進行處理14,這種算法可以處理非常大規模的問題。我們通過建立OPLS 和 CCA之間的等價關系使最小二乘方程式擴展到正交最小二乘(OPLS)和偏最小二乘法(PLS)。此外,我們分析正則化在CCA上的效果。特別是,我們表明,C

6、CA投影,讓一群變量是獨立的正規化另組多維變量,闡明正規化在CCA上的影響。此外,它能顯示出我們的分析可以擴展到內核誘導功能空間。提供更多細節的補充文件,可以發現在計算機協會數字圖書館在/10.1109/TPAMI.2010.160。注釋：訓練樣本的數量,數據維數,數量的標簽分別用、。表示第個觀察。并且表示編碼對應的標簽信息。讓是數據矩陣，是類標簽矩陣。我們假設所有的和是集中的，和。弗羅貝尼烏斯的規范表示矩陣A。I是單位矩陣和e是一個單位向量。2 背景和相關工作在本節中,我們回顧CCA,最小二乘法,和一些相關的工作。2.1 典型

7、相關分析在CCA,兩種不同造型的同一組對象,給出了一個投影計算了每個表示這樣的,他們是最大的維度降低空間相關。正式,CCA計算兩個投影向量和這樣的相關系數 （1） 是最大化 因為是和不變的縮放 ，CCA可以相等的變換為 （2） 以下， 我 們假設是滿秩的。這表明以下問題的最優解來獲得：， 。 (3) 兩種方法在(2)和(3)中試圖找到所對應的特征向量與特征值的頂部以下廣義特征值問題: ， （4）特征值與特征向量是相對應的。它也表明,多個投影向量在某些正規化約束由頂部的特征向量的廣義特征值問題(4)2。在正規化CCA(rCCA),兩個正則化條件和，并且被添加在(2)來防止過度擬合,避免奇點和的2

8、, 15。具體來說,解決了以下商資歸農廣義特征值問題: （5）2.2 最小二乘法的回歸和分類在回歸,我們就有了一種訓練集，其中是觀察數據，是相應的目標。我們假設兩把觀察結果和目標集中。結果,攔截在回歸可以被消除。在這種情況下, 最小二乘方法可以用于計算投影 矩陣W通過最小化以下平方和成本 功能： （6）其中。眾所周知,最優投影矩陣給出了5,6 (7)其中代表雅可比矩陣的偽偽逆。最小二乘公式也可應用于分類問題。在一般的多級情況下,我們是給定一個n樣品組成的數據集，其中，表示第i類標號的樣本，k>2。應用最小二乘的多類配方情況下,1 k的二進制編碼方案通常是把向量值類代碼應用于每個數據點5。

9、解決方案取決于選擇類指標矩陣。幾類指標矩陣的提出在文獻6。2.3 相關工作最小二乘法的內在關系和其他幾個模型在過去已經建立。特別是,它是一個經典的效果，最小二乘問題是等價的LDA對二進制類問題5。最近,這種等價關系是延伸到通過定義一個特定的類指標矩陣的多類案件16。CCA已被證明是相當于LDA對多類問題13。因此,CCA相當于最小二乘法在多類案件。我們顯示在接下來的部分,在溫和條件下,可作為制定CCA最小二乘問題的更一般的設置,即，多元變量問題當一個用來源于標簽的CCA的視圖。3 CCA和最小二乘對于MULTILABEL之間的關系分類在本節中,我們的相關關系和最小二乘法的CCA multila

10、bel案例，由于空間限制,所有的證據是提供在補充文件,可以在計算機協會數字圖書館中找到/10.1109/TPAMI.2010.160。首先為我們的推導定義四個矩陣:， （8）， （9）， （10）， （11）注意，我們假設并且為多元變量的問題。這樣就很明確了。遵循上面的定義,解決CCA可以表達為特征值所對應的特征向量與矩陣的頂部。3.1 基本矩陣屬性在本節中,我們研究的基本性質的矩陣參與下面的討論。以下定義在(8)中的H,我們有：引理 3.1 讓H被定義為在(8)，并且讓集中的，。這樣，我們有：（1） H已經正規化的列，。（2）

11、 。鑒于與列正交，存在使得是正交矩陣，簡而言之于是就出現了的結果，讓奇異值分解計算且其中是正交矩陣，很明顯位于零空間中，簡而言之 （12）3.2 通過特征分解計算CCA回想一下,解決CCA由矩陣的頂部特征向量.我們下一個展示如何計算這些特征向量。定義了矩陣且 (13) 讓奇異值分解，使，其中是正交的，是對角線的。這樣 (14)矩陣的特征分解總結了下面的定理：定理3.1 矩陣有k個非零特征值。具體來說,CCA的解決辦法是由與矩陣最頂端的特征值相對應的特征向量組成的，可以得到： (15)其中在包含第一列的。3.3 和最小二乘法等價的CCA考慮類指標矩陣定義如下： (16)它遵循從(7),解決最小二

12、乘問題給定 (17) 從(15)和(17)中可以很明顯的看出之間(CCA)和最小二乘法的區別在于和我們下一個顯示所有的對角元素的在溫和的條件下,即， .注意,第一個條件是相當于要求原始數據點是線性獨立前定心,傾向于保持高維數據。出示之前主要結果總結在定理3.2下面,我們有以下引理:引理 3.2 我們假設，對于一些非負整數有。那么對于矩陣，我們有，其中 。定理 3.2 假設為多元變量問題，這樣我們有，因此在引理3.2中的定義相當于零，并且有。這就意味著的所有的對角元素是單位的。既然，包含k個非零特征值。如果我們令，則有 (18)和唯一的區別在于正交矩陣在和。在實踐中,我們可以使用和兩個項目的原始

13、數據到一個低維空間在分類之前。對于分類器基于歐幾里得距離,正交變換不會影響分類性能，任何正交轉換歐幾里得距離是不變的。一些著名的算法滿足這個屬性包括k最近鄰(k最近鄰)算法6基于歐氏距離和線性支持向量機(SVM)17。在下面,相當于最小二乘CCA配方被稱為“IS-CCA。”4. 擴展最小二乘的CCA 基于等價關系建立在上一節中,古典CCA配方可以擴展使用正則化技術,它常用于控制的復雜性和提高模型的泛化性能。類似于嶺回歸6,我們得到2規范正則化最小二乘CCA配方(稱為“LS-CCA2”),從而減少以下目標函數通過使用目標矩陣(16):其中是正則化參數。眾所周知,稀疏通常可以通過懲罰1規范變量的8

14、得到。它已經被引入最小二乘配方，由此產生的模型被稱為套索8。基于等價關系的建立(CCA)和最小二乘法,我們推導出1規范正則化最小二乘CCA配方(稱為“LS-CCA1”),從而減少以下目標函數:。LS-CCA1使用最先進的算法18、19可以有效地解決。此外,整個解決方案的路徑用最小角回歸算法20計算所有值。5. 高效實現的CCA回想一下,我們處理問題的廣義特征值在(4)來解決CCA,雖然,在我們的理推導,等價特征值問題是代替。大規模的廣義特征值問題是已知的比常規的特征值問題11、21來的更難。有兩個選項轉換中的問題(4)成一個標準的特征值問題21:1)因素和2)使用標準的蘭索斯算法矩陣使用內積。

15、在對于高維問題與一個小正則化這種情況下，第二個選擇都有它自己的奇異矩陣的問題。因此,在本文中,我們因素和解決對稱特征值問題使用蘭索斯算法。相當于導致一個有效的最小二乘制定實施。該算法的偽代碼,給出了算法1。復雜的第一步是。在第二步中,我們解決最小二乘問題的k。在我們的實現中,我們使用LSQR算法在14,這是一個實現了共軛梯度式法求解稀疏最小二乘問題。注意,原始矩陣很稀少在應用在程序中,如文本文檔建模。然而,在中心,X不再是稀疏的。為了保持稀疏的,向量是由一個額外的組件作為增強。這個新組件充當對最小二乘法的攔截。擴展來標示,修訂后的最小二乘問題表示為，其中。對于一個新的數據點，它的投影給出了算法

16、1。高效的實現通過LSQR CCA輸入：X，Y計算矩陣診斷基于奇異值分解的Y。用LSQR在上回歸X。對于一個密集的數據矩陣,計算成本參與每個迭代的是14。因為最小二乘問題解決了k次,總體成本是,其中N是迭代的總數。當矩陣是稀疏的,成本明顯降低。假設非零元素的數量在 中是z。總成本減少到。總之,總時間復雜度為解決最小二乘配方通過LSQR是當是稀疏的。6. 擴展最小二乘的配方回想一下,CCA尋求一對線性變換,一個用于每一組變量,這樣數據最相關轉換空間。相比之下,偏最小二乘法(PLS)發現方向最大協方差。協方差和相關性是兩種不同的統計措施為如何共變的量化的變量。CCA和PLS已被證明是有密切聯系22

17、。在23和24,一個統一的框架,請和CCA的開發,并正交(CCA)和偏最小二乘法(OPLS)25的一個變體,可視為特殊情況的統一框架,通過選擇不同的正則化參數值。然而,OPLS 和CCA內在的等價關系尚未研究過。在本節中,我們證明了OPLS 和CCA等價關系,從而擴展最小二乘OPLS配方。以下優化問題被認為是在OPLS: （20）給出了最優以下的特征向量的廣義特征值問題: （21）矩陣被定義為 （22）回想一下,在CCA,矩陣定義在(13)中和奇異值分解給出了。同樣的，我們定義，允許細微的奇異分解值為，其中 。在范圍的空間我們有下面的結果：引理 6.1 讓定義在(13)中，。這樣，其中和是和的

18、列空間。此外,存在一種像這樣的正交矩陣，由的第列組成。本節的主要結果總結了以下定理：定理 6.1 讓是最優解的優化問題(20)和讓是最佳CCA變換定義在(18)。然后,為正交矩陣。它遵循從定理6.1,OPLS可以很容易為一個等價的最小二乘問題的新配方使用相同的類指標矩陣定義在(16)。7. 分析正則化在CCA在本節中,我們調查在CCA正規化的影響。最小二乘CCA制定建立在本文假設沒有正則化應用。然而,正則化通常用于控制復雜性的學習模式,它已應用于各種機器學習算法。使用正則化在CCA自然統計解釋15,26。在實踐中,正則化通常在CCA中執行兩種多維變量,因為它一般認為的解決方案是依賴于CCA正規

19、化兩變量。從前面部分后的推導,我們表明,投影,讓一群CCA變量是獨立的正規化另組多維變量,提供新的影響CCA正規化的見解。7.1 正規化在Y在CCA中對Y使用正則化導致下列廣義特征值問題: （23）是正則化參數。廣義特征值問題在(23)可以表示為: (24)矩陣為正規化CCA的定義是: (25)主要結果概括如下定理:定理7.1 讓是矩陣組成的主要特征向量的廣義特征值問題在(24)的非零特征值對應。然后,為正交矩陣R。它很容易檢查在在(8)中的和在(25)中的的范圍的空間一致。證明遵循相同的參數在引理6.1和定理6.1。定理7.1表明CCA配方被認為是可以制定作為一個最小二乘問題相當于當Y正則化

20、。注意,Y可以是任意矩陣(不一定是類標簽矩陣)。一個重要的結果從等價關系的投影為一個視圖是獨立的CCA的正規化的其他視圖。一個類似的結果能夠獲取內核CCA。7.2 正規化在X對Y自正則化不影響投影的X,我們接下來考慮正則化在X分開。由此產生的廣義特征值問題在CCA可以制定如下: （26）是參數X正則化。同樣,我們可以推導出正交矩陣,結果總結了以下引理:引理 7.1 定義矩陣為， （27）為他的奇異分解，,是正交的，是對角線的。然后,與矩陣的特征值最高所對應的特征向量給出了, （28）由的第一列組成。它可以觀察到,B的空間范圍與A不是同于一個;因此,CCA和最小二乘的等價關系被認為是不持有當正則

21、化在X。然而,OPLS CCA的等價關系仍然持有當正則化在X是應用。主要結果總結在定理7.2以下(證明遵循類似的參數在引理6.1):定理 7.2 ，讓和少量的奇異分解值為, 。然后,這個和范圍的空間一致。此外,還存在一個像這樣的正交矩陣。因此,CCA和OPLS是等價的任何.回想一下,制定可歸納為CCA廣義特征值問題如(5),這就需要計算矩陣的逆。計算逆可能計算量大,當維數k的數據Y是很大的。這種情況在基于內容的圖像檢索27,兩個視圖對應的文本和圖像數據,都是高維度。一個重要的結果,建立了OPLS和 CCA的等價關系是逆的大型矩陣可以有效避免計算投影一個視圖。8. 實驗我們在實驗中使用三種類型的

22、數據。基因表達模式圖像data1描述果蠅的基因表達譜28。每個圖像標注一個變量數量的文本術語(標簽)從受控詞匯表。我們應用伽柏過濾器中提取一個384維的特征向量從每個圖像。我們用五個數據集和不同數量的術語(類標簽)。我們也評估擬議的方法在現場數據集29,這是常用的作為一個基準數據集對多元變量的學習。研究提出了最小二乘的可伸縮性配方,一個文本文檔數據集與高維度從雅虎!使用30。這些數據集的統計歸納如表1。表1匯總統計的數據集表2比較不同的CCA配方意思是中華民國方面得分所有的數據集,報告10個隨機數據的分區訓練集和測試集生成和平均性能。對于高維文本文檔的數據集,我們遵循特征選擇方法研究31文本文

23、檔和提取不同數量的術語(特性)調查性能的算法。與算法5進行比較,包括在(5)中CCA和正規化的版本(指示為商資歸農),提出了最小二乘CCA配方(指示為ls CCA)及其2規范和1規范正規化的版本(指示為LS-CCA2和LS-CCA1,分別)。所有的方法都是用于項目數據到一個低維空間中線性支持向量機進行分類為每個不同的標簽。接受者操作特性(ROC)得分計算為每個不同的標簽,在標簽和平均性能報告所有剝片。8.2 等價關系的評估和性能比較我們首先對(CCA)和最小二乘法的等價關系進行評估。我們觀察到,當數據維數d遠遠大于樣本大小n,在定理3.2的條件往往持有。它遵循從定理3.2,等于,所有對角元素是

24、單位的,這是符合觀測的實驗。在表2中,我們報告的平均分數超過所有的標簽和中華民國為每個數據集都剝片。主要的觀察包括:1)CCA和ls CCA達到同樣的性能,所有的數據集,這是符合我們的理論結果,2)正規化CCA擴展包括商資歸農,LS-CCA2,LS-CCA1執行更好的比他們的同行CCA和ls CCA沒有正規化,3)LS-CCA2比得上在所有的數據集商資歸農,而LS-CCA1達到最好的性能對于所有基因圖像數據集。這些觀察結果證明用正則化最小二乘擴展技術的有效性使。8.3 敏感性研究在這個實驗中,我們調查ls CCA的性能相比CCA當在定理3.2的條件中并不持有,這種情況存在許多真實世界的應用程序

25、中。具體來說,我們使用一個基因數據集基因圖像2維數固定在d=384和k= 15的標簽,而訓練集的大小變化從100年到900年與步長約100。不同的線性算法的性能作為訓練集規模的增加呈現在圖a1。我們可以發現,總體而言,所有算法的性能增加的培訓規模增加。當n是很小,條件在定理3.2成立,因此CCA和ls CCA是等價的,它們達到同樣的性能。當n進一步增加,CCA和ls CCA實現不同的變動率指標數,雖然在我們的實驗差異分數總是非常小的。類似于上次的實驗,我們可以從圖觀察到,正則化方法能夠比CCA和ls-CCA,LS-CCA2與rCCA更好地執行。這個數據集稀疏配方LS-CCA1執行的最好。實驗的

26、靈敏度也表現在現場數據集。結果總結在圖b1,可以類似的觀察。8.4 可擴展性研究在這個實驗中,我們研究相比最小二乘原CCA配方的可伸縮性配方。因為正規化算法是首選在實踐中,我們比較正規化CCA配方(rCCA)和2規范正規化最小二乘配方(LS-CCA2)。最小二乘問題是解決LSQR算法14。圖a2一個顯示了計算時間的兩個配方的高維文本文檔數據集雅虎 Arts&Humanities作為數據維數隨著訓練集的大小固定為1000。它可以觀察到兩種算法隨著數據維數不斷增加，計算時間不斷增加。然而,計算時間的最小二乘配方(LS-CCA2)是大大低于原來的配方(rCCA)。事實上,LS-CCA2所有測

27、試數據維數計算時間小于5秒。我們也評估兩個配方的可伸縮性方面的訓練樣本大小。圖b2陰謀計算時間的兩個公式在文本文件數據集當訓練樣本大小隨數據維數固定為2000,可以類似的觀察。訓練集的大小由于高計算成本的原始特征值問題是沒有進一步增加。從圖2,我們得出了最小二乘配方是比原來CCA配方更加可伸縮 。8.5 正則化分析在這個實驗中,我們研究的影響為CCA正規化。此外,我們比較OPLS 和 CCA在不同正則化參數值下得性能。具體來說,我們隨機選擇700樣本數據集進行訓練的場景,不同的正則化參數值從1e- 6到1e4。首先,我們考慮只在X正規化。CCA的性能和OPLS現場數據設置為變量總結了圖3。我們

28、可以觀察到從圖,在所有的值,(CCA)和OPLS的性能是相同的。這證實了CCA 和OPLS的等價關系定理7.2成立。我們還觀察到OPLS 和CCA的性能可以提高，通過使用一個適當的顯著正則化參數,證明了利用正則化在X。接下來,我們考慮正則化只在Y。CCA和OPLS的性能的不同值總結了圖3 b。我們可以觀察到CCA的表現依然是變化,驗證正則化在y不影響其性能。另外,我們觀察到兩種方法的性能在所有的情況下是相同的,這是符合我們的理論分析。9. 總結在本文中,我們在溫和條件下為CCA建立一個等價的最小二乘配方,傾向于保持高維數據。在本文中基于等價關系建立,我們提出幾個CCA擴展包括稀疏CCA。一個高

29、效的算法擴展CCA配方非常大的數據集。我們進一步擴展的等價關系正交偏最小二乘法。此外,我們表明,投影一視圖CCA獨立的正規化的其他視圖。我們進行了多元變量數據集的集合的實驗。我們的實驗表明,最小二乘法CCA配方和原始CCA配方的性能非常接近甚至當條件是違反的。版權聲明這項研究是由美國國家科學基金會組織(NSF)iis - 0612069,- 0812551,iis iis - 0953662,NIH,hm1582 R01-HG002516 NGA - 08 - 1 - 0016。參考文獻：1 H. Hotelling, “Relations between Two Sets of Variab

30、les,” Biometrika, vol. 28,pp. 312-377, 1936.2 D. Hardoon, S. Szedmak, and J. Shawe-Taylor, “Canonical CorrelationAnalysis: An Overview with Application to Learning Methods,” NeuralComputation, vol. 16, no. 12, 2004.3 J.-P. Vert and M. Kanehisa, “Graph-Driven Feature Extraction fromMicroarray Data Us

31、ing Diffusion Kernels and Kernel CCA,” Proc. Ann.Conf. Neural Information Processing Systems, vol. 15, pp. 1425-1432, 2003.4 S. Yu, K. Yu, V. Tresp, and H.-P. Kriegel, “Multi-Output RegularizedFeature Projection,” IEEE Trans. Knowledge and Data Eng., vol. 18, no. 12,pp. 1600-1613, Dec. 2006.5 C. Bis

32、hop, Pattern Recognition and Machine Learning. Springer, 2006.6 T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning:Data Mining, Inference, and Prediction. Springer, 2001.7 G. Golub and C.V. Loan, Matrix Computations. Johns Hopkins Press, 1996.8 R. Tibshirani, “Regression

33、 Shrinkage and Selection via the Lasso,” J. RoyalStatistical Soc.: Series B, vol. 58, no. 1, pp. 267-288, 1996.9 A. dAspremont, L. Ghaoui, M. Jordan, and G. Lanckriet, “A DirectFormulation for Sparse PCA Using Semidefinite Programming,” Proc. Ann.Conf. Neural Information Processing Systems, vol. 16, pp. 41-48, 2004.10 J. Zhu, S. Rosset, T. Hastie, and R. Tibshi