2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策Bayes決策的三個(gè)前提：類(lèi)別數(shù)確定各類(lèi)的先驗(yàn)概率P(ωi)已知各類(lèi)的條件概率密度函數(shù)p(x|ωi)已知Bayes決策中，類(lèi)條件概率密度的選擇要求：模型合理性計(jì)算可行性最常用概率密度模型：正態(tài)分布觀(guān)測(cè)值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理，它們（近似）服從正態(tài)分布。計(jì)算、分析最為簡(jiǎn)單的模型。

一、正態(tài)分布判別函數(shù)

1、為什么采用正態(tài)分布：

a、正態(tài)分布在物理上是合理的、廣泛的。

b、正態(tài)分布數(shù)學(xué)上簡(jiǎn)單，N(μ,σ2)只有均值和方差兩個(gè)參數(shù)。§2-3.1正態(tài)分布決策理論正態(tài)分布中的Bayes決策2、單變量正態(tài)分布：正態(tài)分布中的Bayes決策從p(x)的圖形上可以看出，只要有兩個(gè)參數(shù)m和s2,就可以完全確定其曲線(xiàn)。

若服從正態(tài)分布的總體中隨機(jī)抽取樣本x，約有95％的樣本落在(m-2s,m+2s)中。樣本的分散程度可以用s來(lái)表示

,s越大分散程度越大。

正態(tài)分布中的Bayes決策

正態(tài)分布是指一個(gè)隨機(jī)實(shí)數(shù)度量值在整個(gè)實(shí)數(shù)域上的分布規(guī)律。因此它屬于概率密度函數(shù)類(lèi)，不是我們所討論的先驗(yàn)概率P(ωi)，也不是后驗(yàn)概率P(ωi|X)，而是p(x|ωi)。正態(tài)分布中的Bayes決策3、（多變量）多維正態(tài)分布為d維均值向量也就是:（1）函數(shù)形式：x=(x1,x2,…,xd)T為d維隨機(jī)向量S是d×d維協(xié)方差矩陣，S-1是S的逆矩陣，|S|為S的行列式。協(xié)方差矩陣S是對(duì)稱(chēng)的，其中有d×(d+1)/2個(gè)獨(dú)立元素。

正態(tài)分布中的Bayes決策

由于r(x)可由m和S完全確定，所以實(shí)際上r(x)可由d×(d+1)/2+d個(gè)獨(dú)立元素來(lái)確定。m、S分別是向量x和矩陣(x-m)(x-m)T的期望。

多元正態(tài)分布與單態(tài)量正態(tài)分布在形式上盡管不同，但有很多相似之處，實(shí)際上單變量正態(tài)分布只是維數(shù)為1的多元分布。正態(tài)分布中的Bayes決策

當(dāng)d=1時(shí)，Σ只是一個(gè)1×1的矩陣，也就是只有1個(gè)元素的矩陣，退化成一個(gè)數(shù)，|Σ|1/2也就是標(biāo)準(zhǔn)差σ,Σ-1也就是σ-2，而(X－μ)T(X－μ)也變成(X-μ)2，

多元正態(tài)分布的概率密度函數(shù)中的元就是我們前面說(shuō)得特征向量的分量數(shù)，也就是維數(shù)。

正態(tài)分布中的Bayes決策具體說(shuō)：若xi是x的第i個(gè)分量，mi是m的第i個(gè)分量，sij2是S的第i、j個(gè)元素。其中r(xi)為邊緣分布，

正態(tài)分布中的Bayes決策協(xié)方差矩陣：

是一個(gè)對(duì)稱(chēng)矩陣，只考慮S為正定矩陣的情況，也就是:|S|所有的子式都大于0正態(tài)分布中的Bayes決策

同單變量正態(tài)分布一樣，多元正態(tài)分布r(x)可以由m和S完全確定，常記為N(m,S)。正態(tài)分布中的Bayes決策(2)多元正態(tài)分布的性質(zhì)參數(shù)μ和Σ完全決定分布等概率密度軌跡為超橢球面不相關(guān)性等價(jià)于獨(dú)立性邊緣分布和條件分布的正態(tài)性線(xiàn)性變換的正態(tài)性線(xiàn)性組合的正態(tài)性正態(tài)分布中的Bayes決策①.參數(shù)m和S對(duì)分布的決定性

對(duì)于d維隨機(jī)向量x，它的均值向量m也是d維的，協(xié)方差矩陣是對(duì)稱(chēng)的，其中有d×(d+1)/2個(gè)獨(dú)立元素。

r(x)可由m和S完全確定，實(shí)際上r(x)可由d×(d+1)/2+d個(gè)獨(dú)立元素決定。常記為：

r(x)～N(m,S)正態(tài)分布中的Bayes決策②.等密度點(diǎn)的軌跡為一超橢球面

由r(x)的定義公式可知，右邊指數(shù)項(xiàng)為常數(shù)時(shí)，密度r(x)的值不變，所以等密度點(diǎn)滿(mǎn)足：

二維情況下，上式的解是一個(gè)橢圓軌跡，其長(zhǎng)短軸方向由Σ協(xié)方差矩陣的特征向量決定，三維時(shí)是一個(gè)橢球面，超過(guò)三維則是超橢球面，主軸方向由協(xié)方差矩陣S的特征向量決定，各主軸的長(zhǎng)度則與相應(yīng)的特征值成正比。正態(tài)分布中的Bayes決策

從下圖可以看出，從正態(tài)分布總體中抽取的樣本大部分落在由m

和S所確定的一個(gè)區(qū)域里，這個(gè)區(qū)域的中心由均值向量m決定，區(qū)域的大小由協(xié)方差矩陣決定。正態(tài)分布中的Bayes決策在數(shù)理統(tǒng)計(jì)中，令：式中g(shù)稱(chēng)為x到m的馬氏距離（Mahalanobis）距離。

所以等密度點(diǎn)軌跡是x到m的馬氏距離g為常數(shù)的超橢球面。

正態(tài)分布中的Bayes決策③.不相關(guān)性等價(jià)于獨(dú)立性

概率論中，一般來(lái)說(shuō)，兩個(gè)隨機(jī)變量xi和xj之間不相關(guān)，并不意味著它們一定獨(dú)立。

如果xi和xj之間不相關(guān)，則xixj的數(shù)學(xué)期望有：如果xi和xj相互獨(dú)立，則有：正態(tài)分布中的Bayes決策

如果xi和xj相互獨(dú)立，則它們之間一定不相關(guān)，反之則不成立。

但是對(duì)服從正態(tài)分布的兩個(gè)分量xi和xj，若xi和xj互不相關(guān)，則它們之間一定獨(dú)立。證明：見(jiàn)書(shū)P27

根據(jù)獨(dú)立性的定義：正態(tài)分布隨機(jī)向量的各分量間互不相關(guān)性與相互獨(dú)立等價(jià)。

獨(dú)立性是比不相關(guān)更強(qiáng)的條件。不相關(guān)反映了xi和xj的總體性質(zhì)。正態(tài)分布中的Bayes決策④.邊緣分布與條件分布的正態(tài)性從(3)證明得出的結(jié)論r(x)表達(dá)式，如果x用xj表示，有：也就是說(shuō)，邊緣分布r(x1)服從均值為m，方差為s112的正態(tài)分布：同理，正態(tài)分布中的Bayes決策二元正態(tài)分布協(xié)方差矩陣∑及其逆矩陣∑-1為下面以二元正態(tài)分布為例進(jìn)行證明正態(tài)分布中的Bayes決策根據(jù)邊緣分布定義正態(tài)分布中的Bayes決策=1

另外，條件分布，給定x1的條件下x2的分布：證明條件分布仍然是正態(tài)分布（作業(yè)題）正態(tài)分布中的Bayes決策⑤.線(xiàn)性變換的正態(tài)性

對(duì)于多元隨機(jī)向量的線(xiàn)性變換，仍為多元正態(tài)分布的隨機(jī)向量。

就是：x服從正態(tài)分布r(x)～N(m,S)，對(duì)x作線(xiàn)性變換y=Ax，其中A為線(xiàn)性變換矩陣，且|A|≠0，則y服從正態(tài)分布：r(x)～N(Am,ASAT)證明：x經(jīng)過(guò)變換為y，設(shè)變換矩陣A為非奇異矩陣，y=Ax即x=A-1y正態(tài)分布中的Bayes決策即Ex=m,Ey=n根據(jù)雅克比行列式的定義，有|J|=|A|x的均值向量為m，y的均值向量為n所以y的概密函數(shù)與x的概密函數(shù)之間的關(guān)系為：所以：n

=Am

即m

=A-1n正態(tài)分布中的Bayes決策由于：|A|=|AT|=|AA|1/2（對(duì)稱(chēng)正定）由上面的結(jié)論可以得到：正態(tài)分布中的Bayes決策即：

性質(zhì)5說(shuō)明了用非奇異陣A對(duì)x作線(xiàn)性變換后，原來(lái)的正態(tài)分布正好變成另一個(gè)參數(shù)不同的正態(tài)分布。

由于∑是對(duì)稱(chēng)陣，根據(jù)高等代數(shù)知識(shí)總可以找到某個(gè)A，使得變換后y的協(xié)方差矩陣A∑AT為對(duì)稱(chēng)陣，

這就意味著y的各個(gè)分量之間是相互獨(dú)立的，也就是總可以找到一組坐標(biāo)系，使各隨機(jī)變量在新的坐標(biāo)系下是獨(dú)立的。正態(tài)分布中的Bayes決策⑥.線(xiàn)性組合的正態(tài)性

若x為多元正態(tài)隨機(jī)向量，則線(xiàn)性組合y=aTx是一維的正態(tài)隨機(jī)變量：其中，a與x同維。證明利用性質(zhì)(5)做線(xiàn)性變換y=ATx,得正態(tài)分布中的Bayes決策

由性質(zhì)(5)，y是服從均值向量ATm，協(xié)方差陣AT∑A的多元統(tǒng)計(jì)分布,

由性質(zhì)(4)，

y的邊緣分布的正態(tài)性，可以得出y=aTx服從正態(tài)分布，其概率密度函數(shù)為：其中A=[a,A1]為非奇異陣，A1為d×(d-1)為矩陣，y=[y,Y1]T正態(tài)分布中的Bayes決策2.3.2正態(tài)分布中的Bayes分類(lèi)方法

前面，我們已經(jīng)把基于Bayes公式的幾種分類(lèi)判決規(guī)則抽象為相應(yīng)的判決函數(shù)和決策面方程。這幾種方法中Bayes最小錯(cuò)誤率判決規(guī)則是一種最基本的方法。

如果取0－1損失函數(shù)，最小風(fēng)險(xiǎn)判決規(guī)則和最大似然比判決規(guī)則均與最小錯(cuò)誤判決規(guī)則等價(jià)。正態(tài)分布中的Bayes決策

下面以最小錯(cuò)誤判決規(guī)則為例來(lái)研究Bayes分類(lèi)方法在正態(tài)分布中的應(yīng)用。

由最小錯(cuò)誤率判決規(guī)則抽象出來(lái)的判決函數(shù)如下：

如果類(lèi)概率密度是正態(tài)分布的，正態(tài)分布中的Bayes決策則r(x|wi)～N(mi,Si)。

取對(duì)數(shù)，得判別函數(shù)為正態(tài)分布中的Bayes決策下面對(duì)幾種特殊情況進(jìn)行討論。情況一：

該情況下，每類(lèi)的協(xié)方差矩陣相等，而且類(lèi)的各特征間相互獨(dú)立（由上節(jié)的性質(zhì)③得知），具有相等的方差s2。正態(tài)分布中的Bayes決策因此：(1)先驗(yàn)概率P(wi)與P(wj)不相等正態(tài)分布中的Bayes決策其中：將上兩式代入gi(x)：為x到類(lèi)wi的均值向量mi的“歐氏距離”的平方。與類(lèi)別無(wú)關(guān)，可以忽略，因此gi(x)可簡(jiǎn)化為：正態(tài)分布中的Bayes決策進(jìn)一步簡(jiǎn)化得。xTx與i無(wú)關(guān)，可以忽略：正態(tài)分布中的Bayes決策是一個(gè)線(xiàn)性函數(shù)。因此可以進(jìn)一步寫(xiě)成正態(tài)分布中的Bayes決策(2)P(wi)=P，所有各類(lèi)概率相等決策規(guī)則：對(duì)某個(gè)x計(jì)算

為線(xiàn)性函數(shù)，其決策面由線(xiàn)性方程決策面是一個(gè)超平面。正態(tài)分布中的Bayes決策滿(mǎn)足的x的軌跡是wi

與wj

類(lèi)間的決策面當(dāng)P(wi)=P(wj)時(shí)，超平面通過(guò)mi

與mj連線(xiàn)中點(diǎn)并與連線(xiàn)正交正態(tài)分布中的Bayes決策兩個(gè)同心圓是兩類(lèi)概率分布等密度點(diǎn)軌跡，兩個(gè)圓心就是兩類(lèi)的均值點(diǎn)。兩類(lèi)的區(qū)分線(xiàn)l與m1-m2垂直，其交點(diǎn)為x0

若P(w1)≠P(w2)時(shí)，x0向先驗(yàn)概率較小的那個(gè)類(lèi)型的均值點(diǎn)偏移。x0一般不是m1-m2的中點(diǎn)，但當(dāng)P(w1)=P(w2)時(shí)，x0為m1-m2的中點(diǎn)。正態(tài)分布中的Bayes決策情況二：Σi＝

Σ相等，即各類(lèi)協(xié)方差相等

從幾何上看，相當(dāng)于各類(lèi)樣本集中于以該類(lèi)均值點(diǎn)為中心的同樣大小和形狀的超橢球面內(nèi)。正態(tài)分布中的Bayes決策

對(duì)于未知的x，如果把x與各類(lèi)均值相減，即相當(dāng)于Mahalanobis距離的平方。這時(shí)把x歸于最近一類(lèi)。稱(chēng)為最小距離分類(lèi)器。與類(lèi)別無(wú)關(guān)，可以忽略，正態(tài)分布中的Bayes決策gi（x）為線(xiàn)性函數(shù)，故決策面是一個(gè)超平面。正態(tài)分布中的Bayes決策如果決策域R1和R2相鄰，則決策面方程應(yīng)滿(mǎn)：如果各類(lèi)的先驗(yàn)概率相等，則正態(tài)分布中的Bayes決策下面針對(duì)ω1，ω2二類(lèi)情況進(jìn)行討論正態(tài)分布中的Bayes決策情況三：Σ?為任意，各類(lèi)協(xié)方差矩陣不等這時(shí)判別函數(shù)為x的二次型。正態(tài)分布中的Bayes決策如果決策域，R1和R2相鄰，則決策面方程應(yīng)滿(mǎn)足正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策2.4關(guān)于分類(lèi)器的錯(cuò)誤率問(wèn)題

在分類(lèi)過(guò)程中，任何一種決策規(guī)則都有其相應(yīng)的錯(cuò)誤率，當(dāng)采用指定的決策規(guī)則來(lái)對(duì)類(lèi)條件概率密度及先驗(yàn)概率均為已知的問(wèn)題進(jìn)行分類(lèi)時(shí)，它的錯(cuò)誤率是固定的。錯(cuò)誤率反映了分類(lèi)問(wèn)題固有的復(fù)雜性的程度。對(duì)同一種問(wèn)題設(shè)計(jì)出的多種不同的分類(lèi)方案，通常總是以錯(cuò)誤率大小作為比較方案好壞的標(biāo)準(zhǔn)。因此，在本書(shū)中錯(cuò)誤率是非常重要的參數(shù)。正態(tài)分布中的Bayes決策2.4.0兩類(lèi)決策的錯(cuò)誤率為下式

從上式可以看出當(dāng)x為多維向量的時(shí)候，進(jìn)行積分運(yùn)算的工作量比較大。

因此對(duì)于實(shí)際問(wèn)題，對(duì)錯(cuò)誤率的研究一般從下面三點(diǎn)出發(fā)：1、按理論公式研究。2、計(jì)算錯(cuò)誤率上界3、實(shí)驗(yàn)估計(jì)正態(tài)分布中的Bayes決策2.4.1在一些特殊情況下錯(cuò)誤率的理論計(jì)算第一種情況---正態(tài)分布且等協(xié)方差矩陣S1=S2=S3下面回顧一下最小錯(cuò)誤率貝葉斯決策的負(fù)對(duì)數(shù)似然比函數(shù)很顯然，h(x)為隨機(jī)變量，記它的分布函數(shù)為P(h|wi)正態(tài)分布中的Bayes決策這樣貝葉斯決策的最小錯(cuò)誤率形式

在實(shí)際情況下，我們只考慮正態(tài)分布，因此h(x)可以寫(xiě)成如下形式：正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策

上式表