1、多元統計分析重點宿舍版第一講：多元統計方法及應用；多元統計方法分類（按變量、模型、因變量等）多元統計分析應用選擇題：數據或結構性簡化運用的方法有：多元回歸分析，聚類分析，主成分分析，因子分析分類和組合運用的方法有：判別分析，聚類分析，主成分分析變量之間的相關關系運用的方法有：多元回歸，主成分分析，因子分析，預測與決策運用的方法有：多元回歸，判別分析，聚類分析因果模型（ 因變量數） ：多元回歸，判別分析橫貫數據：相依模型（ 變量測度） ：因子分析，聚類分析多元統計分析方法選擇題：多元統at方法的分類：1）按測量數據的來源分為：橫貫數據（同一時間不同案例的觀測數據），縱觀數據（同樣案例在不同時間的

2、多次觀測數據）2） 按變量的測度等級（數據類型）分為： 類別 （非測量型）變量，數值型（測量型）變量3） 按分析模型的屬性分為：因果模型，相依模型4）按模型中因變量的數量分為：單因變量模型，多因變量模型，多層因果模型第二講：計算均值、協差陣、相關陣；相互獨立性第三講：主成分定義、應用及基本思想，主成分性質，主成分分析步驟主成分定義： 何謂主成分分析就是將原來的多個指標（變量）線性組合成幾個新的相互無關的綜合指標（主成分）， 并使新的綜合指標盡可能多地反映原來的指標信息。主成分分析的應用： （ 1）數據的壓縮、結構的簡化；（ 2）樣品的綜合評價，排序主成分分析概述一一思想： （1）把給定的一組變

3、量 X1,X2,-XP通過線性變換，轉 換為一組不相關的變量 Y1, Y2, - YR （2）在這種變換中，保持變量的總方差 （X1,X2, - Xp的方差之和）不變，同時，使Y1具有最大方差，稱為第一主成分；Y2具有次大方差，稱為第二主成分。依次類推，原來有P 個變量，就可以轉換出P 個主P 個變量的絕大部分成分（3）在實際應用中，為了簡化問題，通常找能夠反映原來方差的q （q<p）個主成分。主成分性質：1）性質1：主成分的協方差矩陣是對角陣：（2）性質2:主成分的總方差等于原始變量的總方差（3）性質3:主成分Yk與原始變量Xi的相關系數為：pV,一、k （YK,XD =,tki,并稱

4、之為因子負荷量（或因子載荷量）。V CT ii主成分分析的具體步驟：將原始數據標準化；建立變量的相關系數陣；求的特征根為：L * 0,相應的特征向量為Ti*,T*,L ,T；由累積方差貢獻率確 p定王成分的個數（m ）,并與出王成分為 Y （Ti ） X , i 1,2,L ,m第四講：因子分析定義，因子載荷統計意義，因子分析模型及假設，因子旋轉因子分析定義：因子分析就是通過對多個變量的相關系數矩陣的研究，找出同時影響或支配所有變量的共性因子的多元統計方法。因子載荷統計意義：1.因子載荷aj的統計意義對于因子模型i 1,2,L , pXiai1F1ai2F2LajFj LaimFmi我們可以得

5、到， Xi與Fj的協方差為:m Cov(Xi,Fj) Cov(aikFki,Fj)k 1mCov(aikFk,Fj) Cov( i,Fj)_k 1aij如果對Xi作了標準化處理,Xi的標準差為1,且Fj的標準差為1,因此rXi,FjCov(Xi,Fj)D(Xi) D(Fj)Cov(Xi,Fj) aj(7.6)那么，從上面的分析，我們知道對于標準化后的Xi, aj是Xi與Fj的相關系數，它一方面表示Xi對Fj的依賴程度，絕對值越大，密切程度越高；另一方面也反映了 變量Xi對公共因子Fj的相對重要性。了解這一點對我們理解抽象的因子含義有非 常重要的作用。h22變量共同度hi 的統計意義設因子載荷矩

6、陣為A ，稱第 i 行元素的平方和，即m 22hiaiji 1,2,L , pj 1（ 7.7）為變量Xi的共同度。由因子模型，知2ai2mD(Fm) D( i)22D(Xi) ai21D(F1) ai22D(F2) L22ai1 ai2 L2aimD ( i )h22ii7.8)這里應該注意，7.8）式說明變量Xi 的方差由兩部分組成：第一部分為共同度hi2 ，Xi它描述了全部公共因子對變量X i的影響程度。第二部分為特殊因子i 對變量Xi 的方差的貢獻，通常稱為個性方差。如果對Xi作了標準化處理，有227.9)1 hi iF23、公因子j的方差貢獻gj的統計意義設因子載荷矩陣為A ，稱第

7、j 列元素的平方和，即p22gjaijj 1,2,L , mi1F2F為公共因子F j 對 X 的貢獻， 即 g j 表示同一公共因子F j 對各變量所提供的方差貢獻之總和，它是衡量每一個公共因子相對重要性的一個尺度。因子分析模型及假設數學模型：每一個變量都可以表示成公共因子的線性函數與特殊因子之和，即：Xi=ai1*F1+a12*F2+ - +aim*Fm+ i （i=1,2,p）式中的 F1, F2, Fm 稱為公共因子，G 稱為Xi的特殊因子。該模型可用矩陣表示為：X=AF+s,且滿足：（1） mWp（2）Cov（F, ）=0，即公共因子與特殊因子是不相關的；（3） DF=D（F尸21

8、,0,0.020,2 ,0.01,0,0.00,1,0.00,0,0.1=Im,即各個公共因子不相關且方差為0,0,0.1； ( 4) D =D( )=即各個特殊因子不相關，方差不要求相等。因子旋轉因子旋轉的目的：初始因子的綜合性太強，難以找出因子的實際意義，因此需要通過坐標旋轉，使因子負荷兩極分化，要么接近于0，要么接近于? 1 ，從而降低因子的綜合性，使其實際意義凸現出來，以便于解釋因子。因子旋轉的基本方法：一類是正交旋轉（保持因子間的正交性，3 種，常用最大方差旋轉） ，一類是斜交旋轉（因子間不一定正交）公共因子提取個數：（ 1 ）選特征值大于等于1 的因子（主成分）作為初始因子，通過求

9、響應的標準化正交特征向量來計算因子載荷（ 2） 碎石圖：刪去特征值變平緩的那些因子（3）累計方差貢獻率大于85%第五講：聚類類型，系統聚類、K-均值聚類思想及步驟，系統聚類方法，相似性測度方法聚類類型：根據分類的對象可將聚類分析分為：系統Q 型與R 型（即樣品聚類與變量聚類）系統聚類、K-均值聚類思想及步驟：系統聚類的基本思想：距離相近的樣本（或 變量）先聚成類，距離相遠的后聚成類，過程一直進行下去，每個樣品（或變量）總能聚到合適的類中。聚類過程及步驟：假設總共有n個樣品（或變量），第一步將每個樣品（或變量）獨自聚成一類，共有n 類；第二步根據所確定的樣品（或變量） “距離”公式，把距離較近的

10、兩個樣品（或變量）聚合為一類，其它的樣品（或變量）仍各自聚為一類，共聚成n-1類；第三步將“距離”最近的兩個類進一步聚成一類，共聚成n-2類；，以上步驟一直進行下去，最后將所有的樣品（或變量）全聚成一類。最后可以畫譜系圖分析。快速聚類的基本思想，步驟：（也稱為K-均值法，逐步聚類，迭代聚類），基本思想是將每一個樣品分配給最近中心（均值）的類中，具體的算法步驟如下：（ 1）將所有的樣品分成 K個初始類；（2）通過歐氏距離將某個樣品劃入離中心最近的類中，并對獲得樣品與失去樣品的類，重新計算重心坐標。（ 3）重復步驟2，直到所有的樣品都不能再分配時為止。系統聚類方法：最短距離法（單連接），最長距離法

11、（完全連接），中間距離法，類平均法（組間平均連接法），可變類平均法，重心法 ，可變法，離差平方和法相似性測度方法：不同樣本相似性度量：距離測度里包括：明氏，馬氏，和蘭式不同變量相似度的度量：包括：夾角余弦，相關系數。第六講：判別分析及各判別方法思想，判別分析假設條件，距離判別與貝葉斯判別關系判別分析定義：一種進行統計判別和分組的技術手段。它可以就一定數量案例的一個分組變量和相應的其他多元變量的已知信息，確定分組與其他多元變量之間的數量關系，建立判別函數（discriminant Function ）。然后便可以利用這一數量關系對其他已知多元變量信息、但未知分組類型所屬的案例進行判別分組。各判別

12、方法思想： 距離判別：求新樣品 X到Gi的距離與到G2的距離之差，如果其值為正，X屬于G2；否則X屬于GiBayes判別：由于k個總體G1，G2， ，Gk出現的先驗概率分別為q1，q2， ，qk ,則用規則R 來進行判別所造成的總平均損失為kkkg(R) qir(i,R) qi C(j|i)P(j |i,R)1 ii i j i( 4.i2)所謂Bayes判別法則，就是要選擇 R1 ,R2, , Rk ,使得(4.12)式表示的總平均損失g(R)達到極小。 Fisher 判別的基本思想和步驟：從 K 個總體中抽取具有p 個指標的樣品觀測數據，借助方差分析的思想構造一個線性判別函數：U(X)=

13、1X12X2 - pXp 'X,其中系數=(1,2,p) 確定的原則是使得總體之間區別最大，而使每個總體內部的離差最小。有了線性判別函數后，對于一個新的樣品，將它的p 個指標值代入線性判別函數式中求出U(X)值，然后根據判別一定的規則，就可以判別新的樣品屬于哪個總體。判別分析假設條件：判別分析的假設之一，是每一個判別變量(解釋變量)不能是其他判別變量的線性組合。即不存在多重共線性問題。判別分析的假設之二，是各組變量的協方差矩陣相等。判別分析最簡單和最常用的形式是采用線性判別函數，它們是判別變量的簡單線性組合。在各組協方差矩陣相等的假設條件下，可以使用很簡單的公式來計算判別函數和進行顯著

14、性檢驗。判別分析的假設之三，是各判別變量之間具有多元正態分布，即每個變量對于所有其他變量的固定值有正態分布。在這種條件下可以精確計算顯著性檢驗值和分組歸屬的概率。當違背該假設時，計算的概率將非常不準確。距離判別與貝葉斯判別關系：距離判別中兩個總體的距離判別規則為：X G1, 如果W(X) 0X G2, 如果W(X) 0葉斯判別規則為：x G1, 當 V（x） d，二者唯一差別僅在于閥值點，從某種x G2, 當 V（x） d意義上講，距離判別是貝葉斯判別的特殊情形。題型及分數：一、判斷對錯并改正（4 題，8 分）二、不定項選擇（10 題， 20 分）三、簡答題（4 題， 32 分） （六選四）主

15、成分基本思想，系統聚類，K-均值聚類基本思想及過程， 判別分析及費希爾基本思想，比較聚類與回歸、判別，因子分析及因子旋轉聚類與回歸、判別： 判別與回歸：聯系：都是根據已有數據判別未來趨勢。區別：多元回歸的因變量是數值型變量，且自變量可是0-1 變量；判別分析的因變量是類別型變量，而自變量不是 0-1變量判別與聚類：聚類分析：類別未知，利用樣本確定分組數及所屬類別；判別分析：類別數及意義已知，還能“預測”新樣本所屬類別；聚類中加進一個變量需要對類進行更新，重新計算與其他類的距離，而判別對新樣本進行判別后，不更新所屬的類。四、計算題（1 題，10 分）計算樣本均值、協差陣、相關陣五、分析題（2 題

16、，30 分）（四選二）1）主成分分析的SPSS；例分析（主成分個數確定，主成分表達式，主成分分析步驟）2）因子分析的SPS強例分析（因子分析模型，公因子的解釋命名分析）（二選一）3）聚類分析的SPS強例分析（分類數確定， 聚類結果命名分析，優缺點及改進策略 ）分類數確定 樹狀圖，確定原則是組內距離小，組間距離大。 聚合系數圖：在曲線開始變得平緩的點選擇合適的分類樹 任何類都必須在鄰近各類中是突出的，即各類重心間的距離必須大 各類所包含的元素都不要過分地多 分類數目應符合使用的目的 若采用幾種不同的聚類法，則在各自的聚類圖上應發現相同的類 對聚類過程中聚合系數分類數的變化（曲線）進行分析，可以輔助確定合理的分類數聚類分析的缺點 層次聚類法的結果容易受奇異值的影響，而快速聚類法受奇異值、相似測度和不適 合的聚類變量的影響較小。 層次聚類法可以得到一系列的聚類數，而快速聚類只能得到指定類數的聚類數。層次聚類法在數據比較多時計算量比較大，需要占據非常大的計算機內存空間，而 快速聚類法