1、第19章 判別分析第1頁，共56頁。學習目標了解判別分析的基本思想；熟悉Bayes判別分析法和Fisher判別分析法；掌握BAYES參數分析法的判別準則效能的評估；掌握判別分析的SAS過程步：DISCRIM、CANDISC和STEPDISC過程步。第2頁，共56頁。概述在醫學研究和疾病防治工作中，經常會遇到需要根據觀測到的資料對所研究的對象進行分類的問題。例如，需要根據就診者的各項癥狀、體征及化驗指標，作出就診者是否患有某種疾病或某種疾病的哪一類型的診斷；又如，在環境監測中，根據對某地區的環境污染的綜合測定結果判斷該地區屬于哪一種污染類型等。第3頁，共56頁。概述判別分析的任務是根據已掌握的一

2、批分類明確的樣品建立判別函數，使產生錯判的事例最少，進而對給定的一個新樣品，判斷它來自哪個總體。判別分析是對樣本個體進行分類的另一種統計分析方法，它和聚類分析一樣，都可以將樣本個體按其具有的特性進行分類。 第4頁，共56頁。概述聚類分析和判別分析有很大的區別，判別分析是根據一批分類明確的樣本在若干指標上的觀察值，建立一個判別函數和判別準則，然后以此準則對新的樣本進行分類。由此可知，這兩種分類方法有著本質的不同：聚類分析可以對樣本進行分類，也可以對指標進行分類；而判別分析只能對樣本進行分類；聚類分析事先不知道事物的類別，也不知道分幾類；而判別分析必須事先知道事物的類別，也知道分幾類；聚類分析不需

3、要分類的歷史資料，而直接對樣本進行分類；而判別分析需要分類歷史資料去建立判別函數，然后才能對樣本進行分類。第5頁，共56頁。判別分析 判別分析是一種根據觀測變量判斷研究樣本如何分類的多變量統計方法，它對于需要根據對樣本中每個個案的觀測來建立一個分組預測模式的情況是非常適用的。分析過程基于對預測變量的線性組合產生一系列判別函數，但是這些預測變量應該能夠充分地體現各個類別之間的差異。判別函數是從一個每個個案所屬的類別已經確定的樣本中擬合出來的，并且生成的函數能夠運用于同樣進行了預測變量觀測的新的樣本點，以判斷其類別歸屬。 第6頁，共56頁。判別分析判別分析的基本原理可以表述為：在一個P維空間R中，

4、有K個已知的總體G1，G2，G3，GK，同時有樣本點X（X1，X2，X3，XP），它屬于且僅屬于這K個總體中的一個，判別分析所要解決的問題是確定這個樣本點X具體應該屬于那一個G總體。實際上判別分析的過程分為兩個部分，首先是依據已知樣本及其預測變量建立起一系列分類規則或判別規則，其次是運用這一規則對樣本的原有分類進行檢驗以確定原有分類錯判率。同時如果原有分類具有較低的錯判率，則建立起來的分類規則可以應用于實際工作中。 第7頁，共56頁。判別分析判別分析的基本思想是根據一批分類明確的樣本在若干指標上的觀察值，建立一個關于指標的判別函數和判別準則，然后根據這個判別函數和判別準則對新的樣本進行分類，并

5、且根據回代判別的準確率評估它的實用性。例如，以一批正常和一批已確診的病人為樣本，收集他們的各項指標，如化驗指標、X線、心腦電圖、超聲波等診斷指標，然后利用這批分類明確的樣本在這些指標上的觀察值，建立一個關于指標的判別函數和判別準則（區分正常人和病人的方法），使得按此準則來判斷這批樣本歸屬的正確率達到最高。它有著廣泛的應用價值，尤其在計算機疾病輔助診斷等醫學科學研究中起了重要作用。第8頁，共56頁。判別分析判別函數是一個關于指標變量的函數。每一個樣本在指標變量上的觀察值代入判別函數后可以得到一確定的函數值，將所有樣本按其函數值的大小和事先規定的判別原則分到不同的組里，并使得分組結果與原樣本歸屬最

6、吻合。這就是判別分析方法的基本過程。進行判別分析的目的是根據樣本建立判別函數和判別準則，用以對新的樣本進行歸類。不同判別分析方法的區別在于其建立判別函數的方法和判別準則的規定是不同的。第9頁，共56頁。判別分析判別分析的方法中較常使用的有Bayes判別分析法和Fisher判別分析法。Fisher判別分析法是以距離為判別準則來分類，即樣本與哪個類的距離最短就分到哪一類；而Bayes判別分析法是以概率為判別準則來分類，即樣本屬于哪一類的概率最大就分到哪一類。前者僅適用于兩類判別，后者適用于多類判別。對判別分析結果的優劣評價明確尚無系統的檢驗理論，只能通過錯判率和事后概率錯誤率的估計來評估判別分類的

7、有效性。第10頁，共56頁。FISHER判別分析法 假設A和B為分類明確的兩類癥狀。在總體A中觀察了p例，在總體B中觀察了q例，每一例記錄了k個指標，它們是 。令y是這k個指標的一個線性函數，即：其中， 是待估計的未知系數。稱上述線性函數是FISHER判別分析法的判別函數。如果a是總體A中的一個樣本，b是總體B中的一個樣本，這y (a)和y (b)分別是這兩個樣本的判別函數值。 FISHER判別分析法的基本原理是選擇一組適當的系數，使得類間差異最大且類內差異最小。第11頁，共56頁。FISHER判別分析法 根據FISHER判別分析法的基本原理，就是要選擇一組適當的系數，使得類間差異最大且類內差

8、異最小，即使得下式的Q值達到最大。使得Q值達到最大就是Q的一階偏導函數等于0的方程組的解，由第12頁，共56頁。FISHER判別分析法 可以得到：其中， 第13頁，共56頁。FISHER判別分析法 令上述方程的解是 ，那么FISHER判別函數估計式是：因此，對于任意一個樣本在k個指標上的觀察值，都可以計算出對應的判別函數值，令判別臨界點是：第14頁，共56頁。FISHER判別分析法 那么，FISHER判別準則是： 時，該樣本屬于B類； 時，該樣本屬于A類；各項指標在判別分析中所起的作用是不同的。貢獻率的大小由下式決定：第15頁，共56頁。BAYES判別分析法 BAYES判別分析法是以概率為判別

9、準則使得每一類中的每一個樣本都以最大概率進入該類。BAYES判別是一種概率型的判別分析，在分析過程開始時需要獲得各個類別的分布密度函數，同時也需要知道樣本點屬于各個類別的先驗概率，以建立一個合適的判別規則；而分析過程結束時則計算每個樣本點歸屬于某個類別的最大概率或最小錯判損失，以確定各個樣本點的預測類別歸屬。第16頁，共56頁。BAYES判別分析法BAYES判別分析法在理論和處理方法上都比FISHER判別分析法更加完善和先進，它不僅能解決多類判別分析，而且分析時考慮了數據的分布狀態，使得判別分析的效能得到較大的提高。SAS軟件的判別分析過程是以BAYES判別分析法為理論基礎的。第17頁，共56

10、頁。BAYES判別分析法BAYES判別法的判別準則是，將每一個點x判別到事后概率最大的類中。利用已知的數據以及求極小值的方法，可以估計出的系數，從而可以得到判別函數的系數估計值，這些估計出的系數使得每一個樣本x屬于某個類的事后概率達到最大。第18頁，共56頁。判別分析判別分析的結果對應著分析的不同步驟過程，也就包括了分類規則和分類結果兩個部分。在分類規則中應該包括典型判別函數、衡量預測變量與判別函數之間關系的結構矩陣以及Fisher線性分類函數。典型判別函數是基于BAYES判別思想建立起來的，主要用途在于對參與分析的各個類別、各個預測變量、各個類別中的各個樣本點及其相互關系進行考察。第19頁，

11、共56頁。判別分析要將典型判別函數應用于大量的實踐操作中是不現實的，因為這涉及到對被分類的樣本計算各種概率，十分繁瑣不利用操作。而FISHER線性分類函數則是針對每個類別分別建立起來的，可以直接應用實踐操作中對新的樣本進行分類。在分類結果部分則依據已經建立起來的分類規則對參與分析的各個樣本點重新進行分類，并通過與原有分類進行比較來確定原有分類的判對率。第20頁，共56頁。判別函數中判別能力檢驗 一個判別函數判別樣本歸類的功能強弱很大程度上取決與指標的選取。如果判別函數中特異性強的指標越多，則判別函數的判別功能也就越強。相反，不重要的指標越多，判別函數就越不穩定，其判別效果非但得不到改善，甚至會

12、適得其反。因此，要建立一個有效的判別函數，指標的選取很重要，過多過少都不一定合適。一方面要根據專業知識和經驗來篩選指標，另一方面要借助統計分析方法檢驗指標的性能。第21頁，共56頁。判別函數中判別能力檢驗在一個判別函數中，每一個指標變量對判別函數的判別能力都有所貢獻。貢獻的大小可以用一元方差分析和多元方差分析來檢驗。一元方差分析可以檢驗每一個指標是否對判別函數的判別能力有顯著性意義，統計檢驗的無效假設是：單一指標對判別函數的作用不顯著。多元方差分析可以檢驗所有指標是否聯合對判別函數的判別能力有顯著性意義，統計檢驗的無效假設是：所有指標對判別函數的聯合作用不顯著。第22頁，共56頁。BAYES參

13、數分析法的判別準則效能評估 對于BAYES參數分析法的判別準則效能的評估，常用的是兩個錯誤率估計指標。一個為錯判率估計，另一個為事后概率錯誤率估計。錯誤率估計是從回代過程得到的結果，類內錯判率等于類內被錯判的樣本數所占的比例。例如，原數據中第一類有n1個樣本，用判別函數判別后，有m1個被判到其它類中，那么第一類的錯判率等于m1/ n1。總體錯判率等于總體被錯判的樣本數所占的比例。例如，原數據有兩類，第一類有n1個樣本，第二類有n2個樣本，用判別函數判別后，第一類有m1個被判到其它類中，第二類有m2個樣本被判到其它類中，那么總體的錯判率等于（m1m2）/（n1n2）。第23頁，共56頁。BAYE

14、S參數分析法的判別準則效能評估在回代過程和判別新的樣本時，都可以估計事后概率錯判率。令x屬于類t的事前概率為pt，事后概率為，樣本總數為n，類t的樣本數為nt，類t的事后概率錯判率為Et，總體事后概率錯判率為E，其估計公式是： 第24頁，共56頁。BAYES參數分析法的判別準則效能評估其中，第一個公式表示從所有類中被判別到類t的所有x的事后概率之和，稱為無分層概率之和。第二個公式表示從類i中被判別到類t的所有x的事后概率之和，稱為無分層概率之和。第一個公式定義的錯誤率為無分層事后概率錯誤率，第二個公式定義的錯誤率為分層事后概率錯誤率。當事前概率和類內樣本數成比例時，這兩個錯誤率相等。第25頁，

15、共56頁。BAYES參數分析法的判別準則效能評估對于一個估計的BAYES判別準則，錯判率和事后概率錯誤率越小，判別準則越準確可靠。當被判別的新樣本與樣本獨立時，這兩種錯誤率估計是非偏的。但是，當新樣本數很小時，可能會產生很大的變異，這時，事后概率錯誤率估計值有時會小于0。因此，為了得到一個有效的錯誤率估計，被判別的數據中樣本數不應當太小，且類內樣本數比例應當接近類內事前概率。第26頁，共56頁。BAYES參數分析法的判別準則效能評估總之，評估一個判別函數的判別效能，涉及到以下幾方面：原數據的分類要可靠準確；指標變量對判別函數的作用要顯著；錯判率和事后概率錯誤率要適當小。第27頁，共56頁。判別

16、分析SAS程序SAS系統里用來進行判別分析的過程步有DISCRIM過程步、STEPDISC過程步和CANDISC過程步。CANDISC過程步用來進行正交判別分析。正交判別分析是一種減少維數（指標個數）的判別分析，作用類似于主成分分析。較常用的過程步是DISCRIM過程步和STEPDISC過程步，它們的區別是后者僅用來篩選指標變量，且僅適用于類內為多元正態分布，具有相同方差協方差矩陣的數據。前者可以篩選指標，但適用于各種數據，且類內為多元正態分布時，不要求具有相同方差協方差矩陣。一般地，當指標變量較多時，將兩者結合使用：首先使用STEPDISC過程步篩選指標變量，然后用DISCRIM過程步將篩選

17、出來的指標變量建立判別函數。第28頁，共56頁。本章小節 判別分析的基本思想是根據一批分類明確的樣本在若干指標上的觀察值，建立一個關于指標的判別函數和判別準則，然后根據這個判別函數和判別準則對新的樣本進行分類，并且根據回代判別的準確率評估它的實用性。它有著廣泛的應用價值，尤其在計算機疾病輔助診斷等醫學科學研究中起了重要作用。判別函數是一個關于指標變量的函數。每一個樣本在指標變量上的觀察值代入判別函數后可以得到一確定的函數值，將所有樣本按其函數值的大小和事先規定的判別原則分到不同的組里，并使得分組結果與原樣本歸屬最吻合。這就是判別分析方法的基本過程。第29頁，共56頁。本章小節判別分析的方法中較

18、常使用的有Bayes判別分析法和Fisher判別分析法。Fisher判別分析法是以距離為判別準則來分類，即樣本與哪個類的距離最短就分到哪一類；而Bayes判別分析法是以概率為判別準則來分類，即樣本屬于哪一類的概率最大就分到哪一類。前者僅適用于兩類判別，后者適用于多類判別。對于BAYES參數分析法的判別準則效能的評估，常用的是兩個錯誤率估計指標。一個為錯判率估計，另一個為事后概率錯誤率估計。錯誤率估計是從回代過程得到的結果，類內錯判率等于類內被錯判的樣本數所占的比例。第30頁，共56頁。本章小節SAS系統里用來進行判別分析的過程步有DISCRIM過程步、STEPDISC過程步和CANDISC過程

19、步。CANDISC過程步用來進行正交判別分析。正交判別分析是一種減少維數（指標個數）的判別分析，作用類似于主成分分析。較常用的過程步是DISCRIM過程步和STEPDISC過程步，它們的區別是后者僅用來篩選指標變量，且僅適用于類內為多元正態分布，具有相同方差協方差矩陣的數據。一般地，當指標變量較多時，將兩者結合使用：首先使用STEPDISC過程步篩選指標變量，然后用DISCRIM過程步將篩選出來的指標變量建立判別函數。第31頁，共56頁。第32頁，共56頁。第20章 典型相關分析第33頁，共56頁。學習目標了解典型相關分析的數學表達方式，假定條件；熟悉典型相關系數的數學含義；掌握典型變量系數的

20、數學含義；掌握簡單相關，復相關和典型相關的意義；掌握典型相關分析的SAS過程步：CANCORR過程步。第34頁，共56頁。概述對于兩個變量，是用它們的相關系數來衡量它們之間的線性相關關系的。當考慮一個變量與一組變量的線性相關關系時，是用它們的多重相關系數來衡量。但是，許多醫學實際問題中，常常會碰到兩組變量之間的線性相關性研究問題。例如，教育研究者想了解3個學術能力指標與5個在校成績表現之間的相關性；對于這類問題的研究引進了典型相關系數的概念，從而找到了揭示兩組變量之間線性相關關系的一種統計分析方法典型相關分析。 第35頁，共56頁。典型相關 典型關系分析是分析兩組變量之間相關性的一種統計分析方

21、法，它包含了簡單的Pearson相關分析（兩個組均含一個變量）和復相關分析（一個組含有一個變量，而另一組含有多個變量）這兩種特殊情況。典型相關分析的基本思想和主成分分析的基本思想相似，它將一組變量與另一組變量之間單變量的多重線性相關性研究轉化為對少數幾對綜合變量之間的簡單線性相關性的研究，并且這少數幾對變量所包含的線性相關性的信息幾乎覆蓋了原變量組所包含的全部相應信息。第36頁，共56頁。典型相關典型相關分析方法的基本原理是：所有研究的兩組變量為x組和y組，x 組有p個變量 ， y 組有q個變量 ，則分別對這兩組變量各做線性組合后，再計算此兩加權和的簡單相關系數，然后以這個簡單相關系數當做這兩

22、組變數之間相關性的衡量指標。即第37頁，共56頁。典型相關對于任意一組系數 和 都可以通過上式求出一對典型變量，典型相關分析中稱之為典型變量。進而可以求出典型變量的簡單相關系數，稱之為典型相關系數。x 組的p個變量組合成一個，y組的q個變量也組合成一個，然后計算簡單相關來衡量兩組之間的相關性。問題是如何組合？ 第38頁，共56頁。典型相關設兩組變量分別為x組有p個變量 ，而y組有q個變量 ，我們先分別把x組和y組的變量組合起來（當然是用線性組合），也就是其中這些系數都是一些常數，就是組合的比例，由于是線性組合，所以 且 。 第39頁，共56頁。典型相關有兩個問題需要解決：給定不同組合比例 以及

23、 ，都可以算出不一樣的簡單相關系數，這使得這個方法非常的不科學，每個人都可以依照自己的喜好來決定組合比例，并且在衡量兩組變量之間相關性的問題上，也沒有一個統一的標準。各組內變量之間的尺度不太相同，例如身高的尺度跟腳掌長度的尺度就不相同，顯然前者的變異數會大于后者，這種情況是不合理的。第40頁，共56頁。典型相關針對第一個問題，“在所有的組合中，尋找一個組合使得簡單相關系數為最大”，可能是個好想法；另外，尋找一個組合使得簡單相關系數為最小，此簡單相關系數就是典型相關系數，而典型相關系數的平方稱為典型根。第41頁，共56頁。典型相關對于第二個問題，解決的方法就是對資料進行標準化。典型相關分析的第一

24、步是估計組合系數，使得對應的典型變量和的相關系數達到最大。這個最大的相關系數是第一典型相關系數，且稱具有最大相關系數的這對典型變量為第一典型變量。第42頁，共56頁。典型相關典型相關分析的第二步是再次估計組合系數，使得對應的典型變量相關系數達到第二大，且第二對典型變量中的第一次變量與第一對典型變量中的每一個變量不相關。這個最二大的相關系數是第二典型相關系數，且稱具有最二大相關系數的這對典型變量和為第二典型變量。如果兩個組中變量的個數為p，q，pq，那么尋求典型變量的過程可以一直連續進行下去，直到得到p對典型變量為止。第43頁，共56頁。典型相關從上述分析的過程可以看出，第一對典型變量的第一典型

25、相關系數描述了兩個組中變量之間的相關程度，且它提取的有關這兩組變量相關性的信息量最多。第二對典型變量的第二典型相關系數也描述了兩個組中變量之間的相關程度，但它提取的有關這兩組變量相關性的信息量次多。以此類推，第44頁，共56頁。典型相關可以得知，由上述方法得到的一系列典型變量的典型相關系數所包含的有關原變量組之間相關程度的信息一個比一個少。如果少數幾對典型變量就能夠解釋原數據的主要信息，特別是如果一對典型變量就能夠反映出原數據的主要信息，那么，對兩個變量組之間相關程度的分析就可以轉化為對少數幾對或者是一對典型變量的簡單相關分析。這就是典型相關分析的主要目的。第45頁，共56頁。典型相關分析的理

26、論架構 設兩組變量分別為x組有p個變量 ，而y組有q個變量 ，典型相關分析是找x組的線性組合 與y組的線性組合 ，使得簡單相關系數為最大，其中第46頁，共56頁。典型相關分析的理論架構設x組的共變異數矩陣為 ， y組的共變異數矩陣為 ，x與y的共變異數矩陣為 ，則 的變異數為 的變異數為共變異數為 第47頁，共56頁。典型相關分析的理論架構典型變量的系數稱為典型權重，權重愈大表示此變量對此典型變量的貢獻愈大。在以上的計算中，此權重為標準化后的資料所得的，故k個資料的第i 典型變量得點為第48頁，共56頁。冗余分析 冗余分析是通過原始變量與典型變量間的相關性，分析引起原始變量變異的原因。以原始變

27、量為因變量，以典型變量為自變量，建立線性回歸模型，則相應的確定系數等于因變量與典型變量間的相關系數的平方，它描述了由于因變量與典型變量的線性關系引起的因變量變異在因變量的總變異中的比例。典型負荷為變量與典型變量的相關系數，可由相關系數的平方了解此典型變量解釋了此變量多少比例的變異數。第49頁，共56頁。CANCORR過程 SAS系統中利用CANCORR過程步進行典型相關分析。CANCORR過程的語法格式如下： PROC CANCORR DATA= OUTSTAT= OUT= ALL ; VAR 一組變量; WITH 另一組變量; PARTIAL 變量; RUN;第50頁，共56頁。CANCORR過程DATA語句指定要分析的數據集名及一些選項，它可以是原SAS數據集，也可以是corr、cov、ucorr、ucov等矩陣。ALL選擇項指令輸出所有結果。CORR選擇項指令輸出原始變量間的相關系數矩陣。VP選擇項用來為V