1、 一、正態分布判別函數一、正態分布判別函數 1、為什么采用正態分布：、為什么采用正態分布： a、正態分布在物理上是合理的、廣泛的。、正態分布在物理上是合理的、廣泛的。 b、正態分布數學上簡單，、正態分布數學上簡單，N(, ) 只有均值和只有均值和方差兩個參數。方差兩個參數。v2-3.1 正態分布決策理論正態分布決策理論2021/3/932211()exp(,)22xP xN 2、單變量正態分布：、單變量正態分布： :( )( ),()E xxP x dx其中均值或數學期望222( )()ExxP x dx， 方差2021/3/94列關系：概率密度函數應滿足下)( xPX2295.011)()(

2、 , 0)(dxxPxxP從從p(x)的圖形上可以的圖形上可以看出，看出，只要有兩個只要有兩個參數參數 和和 2 2 ,就可以完就可以完全確定其曲線。全確定其曲線。 若服從正態分布的總體中隨若服從正態分布的總體中隨機抽取樣本機抽取樣本x，約有，約有95的樣的樣本落在本落在(2,22,2)中。樣本中。樣本的分散程度可以用的分散程度可以用 來表示來表示 , 越大分散程度越大。越大分散程度越大。 2021/3/95 正態分布是指一個隨機實數度量值在整個實數域上正態分布是指一個隨機實數度量值在整個實數域上的分布規律。的分布規律。 因此它屬于因此它屬于概率密度函數類概率密度函數類，不是我們所討論的先，不

3、是我們所討論的先驗概率驗概率P(i)，也不是后驗概率，也不是后驗概率P(i|X)，而是，而是p(x|i)。2021/3/963、（多變量）多維正態分布、（多變量）多維正態分布 )()(21exp|)2(1)(1212xxxTd12, .,Td 為為d維均值向量也就是維均值向量也就是: （1）函數形式：）函數形式：x=(x1,x2,xd)T為為d維隨機向量維隨機向量 S S是是dd維協方差矩陣，維協方差矩陣，S S-1是是S S的逆矩陣，的逆矩陣，|S| S|為為S S的的行列式。行列式。 協方差矩陣協方差矩陣S S是對稱的，是對稱的，其中有其中有d(d+1)/2個獨立個獨立元素。元素。 202

4、1/3/97 由于由于x 可由可由 和和S S完全確定，所以實際上完全確定，所以實際上x 可由可由d d(d+1)/2+d(d+1)/2+d個獨立元素來確定。個獨立元素來確定。 、S S分別是向量分別是向量x和矩陣和矩陣(x- )(x- )T的期望。的期望。 多元正態分布與單態量正態分布在形式上盡多元正態分布與單態量正態分布在形式上盡管不同，但有很多相似之處，實際上單變量管不同，但有很多相似之處，實際上單變量正態分布正態分布只是維數為只是維數為1的多元分布。的多元分布。 2021/3/98 當當d=1時，時，只是一個只是一個11的矩陣，也就是只有的矩陣，也就是只有1個元素的矩陣，退化成一個數，

5、個元素的矩陣，退化成一個數，|1/2也就是標準差也就是標準差, ,11也就是也就是-2，而，而(X)T(X)也變成也變成(X-)2， 多元正態分布的概率密度函數中的多元正態分布的概率密度函數中的元元就是我們就是我們前面說得特征向量的分量數，也就是前面說得特征向量的分量數，也就是維數維數。 2021/3/99具體說：若具體說：若xi是是x的第的第i個分量，個分量， i是是 的第的第i個分量，個分量， ijij2 2是是S S的第的第i、j個元素。個元素。iiiiiidxxxdxxxxE)()(其中其中xi 為邊緣分布，為邊緣分布， 1211( )( )iiidxx dx dxdx dxdx202

6、1/3/910)(j2jiiijxxEj()()( ,)iijijijxxx x dx dx 協方差矩陣：協方差矩陣：222212222221221212211dddddd 是一個對稱矩陣，只考慮是一個對稱矩陣，只考慮S S為為正定矩陣的情況，也就是正定矩陣的情況，也就是: |S| S|所有的子式都大于所有的子式都大于02021/3/911 同單變量正態分布一樣，同單變量正態分布一樣，多元多元正態分布正態分布x 可以由可以由 和和S S完全確定，完全確定，常記為常記為N(,S,S)。2021/3/912(2) 多元正態分布的性質多元正態分布的性質l參數參數和和完全決定分布完全決定分布l等概率密

7、度軌跡為超橢球面等概率密度軌跡為超橢球面 l不相關性等價于獨立性不相關性等價于獨立性 l邊緣分布和條件分布的正態性邊緣分布和條件分布的正態性 l線性變換的正態性線性變換的正態性 l線性組合的正態性線性組合的正態性2021/3/913.參數參數 和和S S對分布的決定性對分布的決定性 對于對于d維隨機向量維隨機向量x，它的均值向量，它的均值向量 也是也是d維的，維的，協方差矩陣是協方差矩陣是對稱對稱的，其中有的，其中有d d(d+1)/2(d+1)/2個獨立元素。個獨立元素。 x 可由可由 和和S S完全確定，實際上完全確定，實際上x 可由可由d d(d+1)/2+d(d+1)/2+d個獨立元素

8、決定。常記為：個獨立元素決定。常記為： x N(,S,S)2021/3/914.等密度點的軌跡為一超橢球面等密度點的軌跡為一超橢球面 由由x 的定義公式可知，右邊指數項為常數時，密的定義公式可知，右邊指數項為常數時，密度度x 的值不變，所以等密度點滿足：的值不變，所以等密度點滿足：常數)()(1xxT 二維情況下，上式的解是一個二維情況下，上式的解是一個橢圓軌跡橢圓軌跡，其長短，其長短軸方向由軸方向由協方差矩陣的特征向量決定，協方差矩陣的特征向量決定， 三維時是一個三維時是一個橢球面橢球面，超過三維則是，超過三維則是超橢球面超橢球面，主軸方向由協方差矩陣主軸方向由協方差矩陣S S的特征向量決定

9、，各主軸的長的特征向量決定，各主軸的長度則與相應的特征值成正比。度則與相應的特征值成正比。2021/3/915 從下圖可以看出，從正態分布總體中抽取的樣從下圖可以看出，從正態分布總體中抽取的樣本大部分落在由本大部分落在由 和和S S所確定的一個區域里，這個區所確定的一個區域里，這個區域的域的中心中心由均值向量由均值向量 決定，區域的決定，區域的大小大小由由協方差矩協方差矩陣陣決定。決定。2021/3/916在數理統計中，令：在數理統計中，令： )()(12xxT式中式中 稱為稱為x到到 的馬氏距離（的馬氏距離（Mahalanobis）距離。）距離。 所以所以等密度點軌跡是等密度點軌跡是x到到

10、的馬氏距離的馬氏距離 為常為常數的超橢球面。數的超橢球面。 2021/3/917.不相關性等價于獨立性不相關性等價于獨立性 概率論中，一般來說，兩個隨機變量概率論中，一般來說，兩個隨機變量xi和和xj之間不之間不相關，并不意味著它們一定獨立。相關，并不意味著它們一定獨立。 如果如果xi和和xj之間不相關，則之間不相關，則xixj的數學期望有：的數學期望有：)()()(jijixExExxE如果如果xi和和xj相互獨立，則有：相互獨立，則有：)()(),(jijixPxPxxP2021/3/918 如果如果xi和和xj相互獨立，則它們之間一定不相關，反相互獨立，則它們之間一定不相關，反之則不成立

11、。之則不成立。 但是但是對服從正態分布的兩個分量對服從正態分布的兩個分量xi和和xj，若，若xi和和xj互互不相關，則它們之間一定獨立。不相關，則它們之間一定獨立。證明：見書證明：見書P27 根據獨立性的定義：正態分布隨機向量的根據獨立性的定義：正態分布隨機向量的各分量間各分量間互不相關性與相互獨立等價互不相關性與相互獨立等價。 獨立性是比不相關更強的條件。獨立性是比不相關更強的條件。 不相關反映了不相關反映了xi和和xj的總體性質。的總體性質。 2021/3/919.邊緣分布與條件分布的正態性邊緣分布與條件分布的正態性從從(3)證明得出的結論證明得出的結論x 表達式，如果表達式，如果x用用x

12、j表示，有：表示，有： 2111111111()exp() )22xx也就是說，邊緣分布也就是說，邊緣分布x1 服從均值為服從均值為 ，方差為，方差為 11112 2的的正態分布：正態分布：),()(21111Nx同理，同理， ),()(22222Nx2021/3/920二元正態分布協方差矩陣二元正態分布協方差矩陣及其逆矩陣及其逆矩陣-1為為221112221222，下面以二元正態分布為例進行證明下面以二元正態分布為例進行證明221221222121112021/3/921222221122121122112221/22211111 exp()()2()()22xxxxdx2222111111

13、12221121/21/221/211111111 exp() exp()()(2 )22(2 )xxxdx1122( )( ,) p xp x x dx222222211112212112221/211exp()()2()()22 xxxxdx根據邊緣分布定義根據邊緣分布定義2021/3/9222211211222222112/12/111)()(2exp)2(dxxx=1 2222211211()()yxx令另外，條件分布，給定另外，條件分布，給定x1的條件下的條件下x2的分布：的分布： )(),()|(12112xxxxx證明條件分布仍然是正態分布（作業題）證明條件分布仍然是正態分布（作

14、業題）2021/3/923.線性變換的正態性線性變換的正態性 對于多元隨機向量的線性變換，仍為多元正態對于多元隨機向量的線性變換，仍為多元正態分布的隨機向量。分布的隨機向量。 就是：就是：x服從正態分布服從正態分布x N(,S,S)，對，對x作線性作線性變換變換y=Ax，其中，其中A為線性變換矩陣，且為線性變換矩陣，且|A|0|0，則，則y服從正態分布：服從正態分布：x N(A,A AS SA AT T)證明：證明： x經過變換為經過變換為y，設變換矩陣，設變換矩陣A為非奇異矩陣，為非奇異矩陣，y=Ax即即x=A-1y2021/3/924即即 Ex= ,Ey=n n根據雅克比行列式的定義，有根

15、據雅克比行列式的定義，有|J|=|A|x的均值向量為的均值向量為 ，y的均值向量為的均值向量為n n所以所以y的概密函數與的概密函數與x的概密函數之間的關系為：的概密函數之間的關系為：JyApJxpyp)()()(1所以：所以： n n =A 即即 =A-1n n2021/3/925由于：由于：|A|=|AT|=|AA|1/2（對稱正定對稱正定）由上面的結論可以得到：由上面的結論可以得到：11/2/211( )exp()()2(2 )Tdp yxxA111111/211 exp()()22TA yA vA yA vA111 exp() () ()22TTTyvAAyvAA2021/3/926即

16、：即： ),()(TAAANy 性質性質5說明了用非奇異陣說明了用非奇異陣A對對x作線性變換后，原來作線性變換后，原來的正態分布正好變成另一個參數不同的正態分布。的正態分布正好變成另一個參數不同的正態分布。 由于由于是對稱陣，根據高等代數知識總可以找到某是對稱陣，根據高等代數知識總可以找到某個個A，使得變換后，使得變換后y的協方差矩陣的協方差矩陣AAT為對稱陣，為對稱陣， 這就意味著這就意味著y的各個分量之間是相互獨立的，也就的各個分量之間是相互獨立的，也就是總可以找到一組坐標系，使各隨機變量在新的坐標是總可以找到一組坐標系，使各隨機變量在新的坐標系下是系下是獨立獨立的。的。2021/3/92

17、7.線性組合的正態性線性組合的正態性 若若x為多元正態隨機向量，則線性組合為多元正態隨機向量，則線性組合y=a aTx是一維的是一維的正態隨機變量：正態隨機變量：),()(aaaNyTT其中，其中，a a與與x同維。同維。證明證明 利用性質利用性質(5) 做線性變換做線性變換y=A ATx, 得得),()(AAANypTT2021/3/928 由性質由性質(5)，y是服從均值向量是服從均值向量A AT ，協方差陣，協方差陣ATA的多元統計分布的多元統計分布, 由性質由性質(4) ， y的邊緣分布的正態性，可以得出的邊緣分布的正態性，可以得出y=a aTx服從正態分布，服從正態分布， 其概率密度

18、函數為：其概率密度函數為：),()(aaaNyTT其中其中A=a a,A1為非奇異陣，為非奇異陣，A1為為d(d-1)為矩陣，為矩陣，y=y,Y1 TxAxxAxAyTTTTT11aa2021/3/929 2.3.2正態分布中的正態分布中的Bayes分類方法分類方法 前面，我們已經把基于前面，我們已經把基于Bayes公式的幾種分類判決公式的幾種分類判決規則抽象為相應的判決函數和決策面方程。規則抽象為相應的判決函數和決策面方程。 這幾種方法中這幾種方法中Bayes最小錯誤率判決規則是一種最最小錯誤率判決規則是一種最基本的方法。基本的方法。 如果取如果取01損失函數，最小風險判決規則和最損失函數，

19、最小風險判決規則和最大似然比判決規則均與最小錯誤判決規則等價。大似然比判決規則均與最小錯誤判決規則等價。 2021/3/930 下面以下面以最小錯誤判決規則最小錯誤判決規則為例來研究為例來研究Bayes分分類方法在正態分布中的應用。類方法在正態分布中的應用。 由最小錯誤率判決規則抽象出來的判決函數如下：由最小錯誤率判決規則抽象出來的判決函數如下：( )( |)() 1,2,iiig xx wP wic 如果如果類概率密度類概率密度是是正態分布正態分布的，的， 2021/3/931則則x|w wi N( i,S,Si 。 )()(21exp|)2()()(1212iiTiidiixxwPxg取對

20、數，得判別函數為取對數，得判別函數為111( )()()ln2ln| ln ( )222Tiiiiiidg xxxPw 2021/3/932下面對幾種特殊情況進行討論。下面對幾種特殊情況進行討論。情況一：情況一： 2,1,2,iI ic 該情況下，每類的協方差矩陣相等，而且類的該情況下，每類的協方差矩陣相等，而且類的各特征間相互獨立（由上節的性質各特征間相互獨立（由上節的性質得知），具有得知），具有相等的方差相等的方差 2。2021/3/933222000000 因此：因此： di2|Ii211(1)先驗概率先驗概率P Pwwi i)與與P Pwwj j)不相等不相等2021/3/934其中：

21、其中： 21( )() ()ln()2Tiiiig xxxPw 22() ()1( )ln2lnln()222Tdiiiixxdg xPw 將上兩式代入將上兩式代入gi(x)：22() () |() ,1,2,Tiiiiijxxxxic為為x到類到類w wi的均值的均值向量向量 i的的“歐氏歐氏距離距離”的平方。的平方。與類別無關，可與類別無關，可以忽略，因此以忽略，因此gi(x)可簡化為：可簡化為：2021/3/935進一步簡化得。進一步簡化得。21( )() ()ln()2Tiiiig xxxPw 21(2)ln()2TTTiiiixxxPw xTx與與i無關，可以忽略：無關，可以忽略：2

22、021/3/936021( )( 2)ln()2TTTiiiiiiig xxPw xww iiw21021ln()2TiiiiPww 0( )Tiiig xw xw是一個線性函數。是一個線性函數。 因此可以進一步寫成因此可以進一步寫成 2021/3/937(2) P(w wi )=P，所有各類概率相等，所有各類概率相等 222|21)()(21)(iiTiixxxxg決策規則：對某個決策規則：對某個x計算計算 ( ),1,2, ,( )max( )ikikig x icgxg xxw若，則決策0( )Tiiig xw xw由于為線性函數，為線性函數， 其決策面由線性方程其決策面由線性方程 (

23、)( )0ijg xgx 構成決策面是一個超平面。決策面是一個超平面。2021/3/9380()0Twxx2iI 在的特殊情況下，決策面方程可改寫成jiw202()1()ln()2()iijijjijPxPww滿足滿足 的的x的軌跡是的軌跡是w wi 與與w wj 類間的決策面類間的決策面0()0Twxx當當P(w wi )=P(w wj )時，超平面通過時，超平面通過 i 與與 j 連線中點并與連線中點并與連線正交連線正交2021/3/939兩個同心圓是兩類概率分布等密度點軌跡，兩個同心圓是兩類概率分布等密度點軌跡，兩個圓心就是兩類的均值點。兩個圓心就是兩類的均值點。兩類的區分線兩類的區分線

24、l與與 1- 2垂直，其交點為垂直，其交點為x0 若若P(w w1 )P(w w2 )時，時，x0向先驗向先驗概率較小的那個類型的均值概率較小的那個類型的均值點偏移。點偏移。 1w121x2xHW2w0 xx0一般不是一般不是11-22的中點，的中點，但當但當P(w w1 )=P(w w2 )時，時，x0為為 1- 2的中點。的中點。 2021/3/940情況二：情況二：i 相等，即各類協方差相等相等，即各類協方差相等12.Mi因為與 無關11( )()()ln()2Tiiiig xxxPw 123()()().()iPPPPwwww若先驗概率相等 從幾何上看，相當于各類樣本集中于以該類均從幾

25、何上看，相當于各類樣本集中于以該類均值點為中心的同樣大小和形狀的超橢球面內。值點為中心的同樣大小和形狀的超橢球面內。2021/3/941121( )()()()2Tiiig xxxr ， 馬氏距離 對于未知的對于未知的x，如果把，如果把x與各類均值相減，即與各類均值相減，即相當于相當于Mahalanobis距離的平方。這時把距離的平方。這時把x歸于最歸于最近一類。稱為近一類。稱為最小距離分類器最小距離分類器。1()()/2ln()TiiixxPw如果把-展開；與類別無關，與類別無關，可以忽略，可以忽略，2021/3/942這時判別函數可以寫成下面的形式0( ),Tiiig xw xw（線性函數

26、）gi（x）為）為線性函數線性函數，故決策面是一個，故決策面是一個超平面超平面。1iiw101ln()2TiiiiPww 2021/3/943如果決策域如果決策域R1和和R2相鄰，則決策面方程應滿：相鄰，則決策面方程應滿：( )( )0ijg xgx0()0Twxx即：1()ijw01()ln()1()()2()()ijijijTijijPPxww如果各類的如果各類的先驗概率相等先驗概率相等，則，則01()2ijx2021/3/944下面針對下面針對1，2二類情況進行討論二類情況進行討論( ),iiaI所以等概率面是橢圓，長軸由本征值決定000( )()0,()bWxxWxxHx與點積為所以與

27、正交，通過 點。1( ):();();ijijcWWH所以 與不同向不垂直于 值聯線。01( ):(),2;ijdxHH若各類先驗概率相等，則通過均值聯線中點否則 離開先驗概率大的一類。2021/3/945情況三情況三： 為任意，各類協方差矩陣不等為任意，各類協方差矩陣不等0:( ),TTiiiig xx Wxxww判別函數)(lnln212ln22)()()(22idiTiiwPdxxxg這時判別函數為這時判別函數為 x 的的二次型二次型。112i111lnln()22TiiiiiPw1ii2021/3/94600()()TTijijijx WW xwwxww即： 2111111222111

28、222( )( )( )11()()()()22()1lnln2()TTg xgxg xxxxxPxPwwww 對于二類情況如果決策域，如果決策域，R1和和R2相鄰，則決策面方程應滿足相鄰，則決策面方程應滿足( )( )0ijg xgx2021/3/947圓)(a1x2x12橢圓)(b21各種圖形：下面看一下決策界面的21ww二類情況為條件獨立21xx2021/3/948雙曲線)(d122直線)(e2211拋物線)(c1212先驗概率相等2021/3/9492.4 關于分類器的錯誤率問題關于分類器的錯誤率問題 在分類過程中，任何一種決策規則都有其相應在分類過程中，任何一種決策規則都有其相應的錯

29、誤率，的錯誤率， 當采用指定的決策規則來對類條件概率密度及當采用指定的決策規則來對類條件概率密度及先驗概率均為已知的問題進行分類時，它的錯誤率先驗概率均為已知的問題進行分類時，它的錯誤率是固定的。是固定的。 錯誤率反映了分類問題固有的復雜性的程度。錯誤率反映了分類問題固有的復雜性的程度。 對同一種問題設計出的多種不同的分類方案，對同一種問題設計出的多種不同的分類方案，通常總是以錯誤率大小作為比較方案好壞的標準。通常總是以錯誤率大小作為比較方案好壞的標準。 因此，在本書中錯誤率是非常重要的參數。因此，在本書中錯誤率是非常重要的參數。2021/3/9502.4.0 兩類決策的錯誤率為下式兩類決策的

30、錯誤率為下式 21( )(x)xx(x)xxttP eP pdP pd2211() () P P 從上式可以看出當從上式可以看出當x為多維向量的時候，進為多維向量的時候，進行積分運算的工作量比較大。行積分運算的工作量比較大。 因此對于實際問題，對錯誤率的研究一般因此對于實際問題，對錯誤率的研究一般從下面三點出發：從下面三點出發：1、按理論公式研究。、按理論公式研究。2、計算錯誤率上界、計算錯誤率上界3、實驗估計、實驗估計2021/3/9512.4.1 在一些特殊情況下錯誤率的理論計算在一些特殊情況下錯誤率的理論計算第一種情況第一種情況-正態分布且等協方差矩陣正態分布且等協方差矩陣 S S1 1

31、=S S2 2=S S3 3212112xlnx()lnxlnxln()xhlPppPww 則下面回顧一下最小錯誤率貝葉斯決策的負對數似然比函數下面回顧一下最小錯誤率貝葉斯決策的負對數似然比函數很顯然，很顯然，h(x)為隨機變量，記它的分布函數為為隨機變量，記它的分布函數為P(h|w wi)2021/3/952這樣貝葉斯決策的最小錯誤率形式這樣貝葉斯決策的最小錯誤率形式 dhhpdpePdhhpdpePtRtR222111xxxx12 )(/ )(ln21wwPPt 其中 在實際情況下，我們只考慮正態分布，因此在實際情況下，我們只考慮正態分布，因此h(x)可可以寫成如下形式：以寫成如下形式：2

32、021/3/953)|(ln)|(ln)(ln)(21wwxpxpxlxh2212211111ln212ln2)()21ln212ln2)()21dxxdxxTT（2121221111ln21)()21)()21xxxxTT（2121)()(lnwwwwxpp2021/3/954 上式表明決策面是上式表明決策面是x的二次型，如果協方差的二次型，如果協方差相等，決策面就變成相等，決策面就變成 x 的線性函數。即的線性函數。即)(21)(212111112TTTxxh（2121)()(lnwwwwxpp x 是是 d 維等協方差正態分布的隨機向量，而維等協方差正態分布的隨機向量，而 h(x) 是一維的隨