模式識別

PatternRecognition第二章貝葉斯決策理論武漢大學國際軟件學院Email:slwang2005@模式識別

PatternRecognition第二章貝葉1TableofContentsTableofContents2.1引言數據獲取預處理特征提取

與選擇分類決策分類器

設計信號空間特征空間32.1引言數據獲取預處理特征提取

與選擇分類決策分類器

設基本概念模式分類：根據識別對象的觀測值確定其類別樣本與樣本空間表示：類別與類別空間：c個類別（類別數已知）引言4基本概念模式分類：根據識別對象的觀測值確定其類別類別與類別空決策把x分到哪一類最合理？理論基礎之一是統計決策理論決策：是從樣本空間S，到決策空間Θ的一個映射，表示為

D:S-->Θ引言5決策把x分到哪一類最合理？理論基礎之一是統計決策理論引言5決策準則評價決策有多種標準，對于同一個問題，采用不同的標準會得到不同意義下“最優”的決策。Bayes決策常用的準則：最小錯誤率準則最小風險準則在限定一類錯誤率條件下使另一類錯誤率為最小的準則最小最大決策準則引言6決策準則評價決策有多種標準，對于同一個問題，采用不同的標準會2.2基于判別函數的分類器設計判別函數

(discriminantfunction)：

相應于每一類定義一個函數，得到一組判別函數：gi(x),i=1,2,…,c決策區域與決策面(decisionregion/surface)：72.2基于判別函數的分類器設計判別函數(discrimi判別

函數判別

函數8決策規則(decisionrule)規則表達1規則表達2判別

函數9決策規則(decisionrule)規則表達1規則表達2判分類器設計分類器是某種由硬件或軟件組成的“機器”：計算c個判別函數gi(x)最大值選擇ARGMAXg1...g2gc...x1x2xna(x)判別

函數多類識別問題的Bayes最小錯誤率決策：gi(x)=P(ωi|x)10分類器設計分類器是某種由硬件或軟件組成的“機器”：ARGMA2.3Bayes最小錯誤率決策以兩類分類問題為例：已知先驗分布P(ωi)和觀測值的類條件分布p(x|ωi)，i=1,2

問題：對某個樣本x，x∈ω1?x∈ω2？該決策使得在觀測值x下的條件錯誤率P(e|x)最小。Bayes決策理論是最優的。以后驗概率為判決函數：決策規則：即選擇P(ω1|x)，P(ω2|x)中最大值對應的類作為決策結果112.3Bayes最小錯誤率決策以兩類分類問題為例：已知先驗后驗概率P(ωi|x)的計算Bayes公式：假設已知先驗概率P(ωi)和觀測值的類條件分布p(x|ωi)，i=1,2最小錯誤率決策12后驗概率P(ωi|x)的計算Bayes公式：假設已知先公式簡化比較大小不需要計算p(x)：最小錯誤率決策13公式簡化比較大小不需要計算p(x)：最小錯誤率決策13公式簡化對數域中計算，變乘為加：最小錯誤率決策判別函數中與類別i無關的項，對于類別的決策沒有影響，可以忽略14公式簡化對數域中計算，變乘為加：最小錯誤率決策判別函數中與類Bayes最小錯誤率決策例解兩類細胞識別問題：正常(ω1)和異常(ω2)根據已有知識和經驗，兩類的先驗概率為：正常(ω1)：P(ω1)=0.9異常(ω2)：P(ω2)=0.1對某一樣本觀察值x，通過計算或查表得到：

p(x|ω1)=0.2，p(x|ω2)=0.4如何對細胞x進行分類？最小錯誤率決策15Bayes最小錯誤率決策例解兩類細胞識別問題：正常(ω1)和Bayes最小錯誤率決策例解（2）利用貝葉斯公式計算兩類的后驗概率：最小錯誤率決策決策結果16Bayes最小錯誤率決策例解（2）利用貝葉斯公式計算兩類的后圖解最小錯誤率決策p(x|ω1)p(x|ω2)p(ω1|x)p(ω2|x)類條件概率密度函數后驗概率17圖解最小錯誤率決策p(x|ω1)p(x|ω2)p(ω1|x)決策的錯誤率條件錯誤率：最小錯誤率決策（平均）錯誤率是條件錯誤率的數學期望（平均）錯誤率：18決策的錯誤率條件錯誤率：最小錯誤率決策（平均）錯誤率是條件錯決策的錯誤率（2）最小錯誤率決策條件錯誤率P(e|x)的計算:

以兩類問題為例，當獲得觀測值x后，有兩種決策可能：判定x∈ω1

，或者x∈ω2。條件錯誤率為：19決策的錯誤率（2）最小錯誤率決策條件錯誤率P(e|x)的計算決策的錯誤率（3）Bayes最小錯誤率決策使得每個觀測值下的條件錯誤率最小因而保證了（平均）錯誤率最小。Bayes決策是一致最優決策。最小錯誤率決策20決策的錯誤率（3）Bayes最小錯誤率決策使得每個觀測值下的決策的錯誤率（4）設t為兩類的分界面，則在特征向量x是一維時，t為x軸上的一點。兩個決策區域:

R1~(-∞，t)和R2~(t，+∞)最小錯誤率決策21決策的錯誤率（4）設t為兩類的分界面，則在特征向量x是一維時模式識別培訓課程課件222.4基于最小風險的Bayes決策決策的風險：做決策要考慮決策可能引起的損失。以醫生根據白細胞濃度判斷一個人是否患血液病為例：沒病(ω1)被判為有病(ω2)，還可以做進一步檢查，損失不大；有病(ω2)被判為無病(ω1)，損失嚴重。232.4基于最小風險的Bayes決策決策的風險：23損失矩陣損失的定義：(N類問題)

做出決策D(x)=ωi，但實際上x

∈ωj，受到的損失定義為：損失矩陣或決策表：最小風險

決策24損失矩陣損失的定義：(N類問題)

做出決策D(x)=ωi，期望條件風險與期望風險期望條件風險：獲得觀測值x后，決策D(x)造成的損失對x實際所屬類別的各種可能的平均，稱為條件風險R(D(x)|x)最小風險

決策期望風險：條件風險對觀測值x的數學期望25期望條件風險與期望風險期望條件風險：獲得觀測值x后，決策D(基于最小風險的Bayes決策基于最小風險的Bayes決策：決策帶來的損失的（平均）風險最小Bayes最小風險決策通過保證每個觀測值下的條件風險最小，使得它的期望風險最小，是一致最優決策。最小風險

決策決策規則：26基于最小風險的Bayes決策基于最小風險的Bayes決策：決最小風險決策的計算根據Bayes公式計算后驗概率P(ωj|x)根據后驗概率及給定的損失矩陣，算出每個決策的條件風險R(αi|x)按最小的條件風險進行決策。最小風險

決策損失矩陣在某些特殊問題，存在簡單的解析表達式。實際問題中得到合適的損失矩陣不容易。27最小風險決策的計算根據Bayes公式計算后驗概率P(ωj|x兩類問題最小風險Bayes決策用Bayes公式展開，最小風險Bayes決策得到：最小風險

決策28兩類問題最小風險Bayes決策用Bayes公式展開，最小風險Bayes最小風險決策例解兩類細胞識別問題：正常(ω1)和異常(ω2)根據已有知識和經驗，兩類的先驗概率為：正常(ω1)：P(ω1)=0.9異常(ω2)：P(ω2)=0.1對某一樣本觀察值x，通過計算或查表得到：

p(x|ω1)=0.2，p(x|ω2)=0.4λ11=0，λ12=6，λ21=1，λ22=0按最小風險決策如何對細胞x進行分類？最小風險

決策29Bayes最小風險決策例解兩類細胞識別問題：正常(ω1)和異Bayes最小風險決策例解（2）后驗概率：P(ω1|x)=0.818，P(ω2|x)=0.182決策結果最小風險

決策30Bayes最小風險決策例解（2）后驗概率：P(ω1|x)最小風險決策的一般性基于最小錯誤率的Bayes決策可作為最小風險Bayes決策的一種特殊情形。只需要定義損失為：最小風險

決策決策正確時，損失為0

決策錯誤時，損失為131最小風險決策的一般性基于最小錯誤率的Bayes決策可作為最小2.5正態分布的最小錯誤率Bayes決策Bayes決策的三個前提：類別數確定各類的先驗概率P(ωi)已知各類的條件概率密度函數p(x|ωi)已知Bayes決策中，類條件概率密度的選擇要求：模型合理性計算可行性最常用概率密度模型：正態分布觀測值通常是很多種因素共同作用的結果，根據中心極限定理，它們（近似）服從正態分布。計算、分析最為簡單的模型。322.5正態分布的最小錯誤率Bayes決策Bayes決策的三一元正態分布一元正態分布及其兩個重要參數：均值（中心）方差（分散度）正態分布

Bayes決策33一元正態分布一元正態分布及其兩個重要參數：正態分布

Baye多元正態分布觀測向量x：實際應用中，可以同時觀測多個值，用向量表示。多元正態分布：正態分布

Bayes決策34多元正態分布觀測向量x：實際應用中，可以同時觀測多個值，用向多元正態分布的性質參數μ和Σ完全決定分布等概率密度軌跡為超橢球面不相關性等價于獨立性邊緣分布和條件分布的正態性線性變換的正態性線性組合的正態性正態分布

Bayes決策35多元正態分布的性質參數μ和Σ完全決定分布正態分布

Bayes參數μ和Σ完全決定分布協方差矩陣是對稱矩陣多元正態分布由n+n(n+1)/2個參數所完全決定正態分布36參數μ和Σ完全決定分布協方差矩陣是對稱矩陣正態分布36等概率密度軌跡為超橢球面等概率密度軌跡為超橢球面Mahalanobis距離正態分布37等概率密度軌跡為超橢球面等概率密度軌跡為超橢球面正態分布37不相關性等價于獨立性多元正態分布的任意兩個分量互不相關，則它們一定獨立正態分布不相關獨立38不相關性等價于獨立性多元正態分布的任意兩個分量互不相關，則它線性變換的正態性多元正態隨機向量x正態分布對x進行線性變換得到多元正態隨機向量y39線性變換的正態性多元正態隨機向量x正態分布對x進行線性變換得線性組合的正態性多元正態隨機向量x正態分布對x的分量進行線性組合得到隨機標量y40線性組合的正態性多元正態隨機向量x正態分布對x的分量進行線性正態分布的最小錯誤率Bayes決策觀測向量的類條件分布服從正態分布：判別函數的定義與計算：正態分布

Bayes決策判別函數中與類別i無關的項，對于類別的決策沒有影響，可以忽略41正態分布的最小錯誤率Bayes決策觀測向量的類條件分布服從正最小距離分類器與線性分類器第一種特例：判別函數的簡化計算：正態分布

Bayes決策最小距離

分類器線性分類器42最小距離分類器與線性分類器第一種特例：判別函數的簡化計算：正最小距離分類器與線性分類器第二種特例：判別函數的簡化計算：正態分布

Bayes決策Mahalanobis

距離線性分類器43最小距離分類器與線性分類器第二種特例：判別函數的簡化計算：正正態模型的Bayes決策面兩類問題正態模型的決策面：決策面方程：g1(x)=g2(x)兩類的協方差矩陣相等，決策面是超平面。兩類的協方差矩陣不等，決策面是超二次曲面。正態分布

Bayes決策44正態模型的Bayes決策面兩類問題正態模型的決策面：正態分布正態模型的Bayes決策面正態分布

Bayes決策45正態模型的Bayes決策面正態分布

Bayes決策45正態分布下的幾種決策面的形式正態分布

Bayes決策正態分布下的幾種決策面的形式正態分布

Bayes決策46正態分布的Bayes決策例解兩類的識別問題：醫生要根據病人血液中白細胞的濃度來判斷病人是否患血液病。根據醫學知識和以往的經驗，醫生知道：患病的人，白細胞的濃度服從均值2000，標準差1000的正態分布；未患病的人，白細胞的濃度服從均值7000，標準差3000的正態分布；一般人群中，患病的人數比例為0.5%。一個人的白細胞濃度是3100，醫生應該做出怎樣的判斷？正態分布

Bayes決策47正態分布的Bayes決策例解兩類的識別問題：醫生要根據病人血正態分布的Bayes決策例解數學表示：用ω表示“類別”這一隨機變量，ω1表示患病，ω2表示正常；x表示“白細胞濃度”這個隨機變量。本例醫生掌握的知識非常充分，他知道：1)類別的先驗分布：

P(ω1)=0.5%

P(ω2)=99.5%

先驗分布：沒有獲得觀測數據（病人白細胞濃度）之前類別的分布正態分布

Bayes決策48正態分布的Bayes決策例解數學表示：用ω表示“類別”這一隨正態分布的Bayes決策例解2)觀測數據白細胞濃度分別在兩種情況下的類條件分布：

P(x|ω1)~N(2000,10002)

P(x|ω2)~N(7000,30002)P(3100|ω1)=2.1785e-004

P(3100|ω2)=5.7123e-005計算后驗概率

P(ω1|3100)=1.9%

P(ω2|3100)=98.1%醫生的判斷：正常正態分布

Bayes決策49正態分布的Bayes決策例解2)觀測數據白細胞濃度分別在兩2.6討論基于Bayes決策的最優分類器Bayes決策的三個前提：類別數確定各類的先驗概率P(ωi)已知各類的條件概率密度函數p(x|ωi)已知問題的轉換：基于樣本估計概率密度基于樣本直接確定判別函數502.6討論基于Bayes決策的最優分類器Bayes決策的三習題試簡述先驗概率，類條件概率密度函數和后驗概率等概念間的關系：

試寫出利用先驗概率和分布密度函數計算后驗概率的公式EX2.5EX2.15寫出最小錯誤率和最小風險決策規則相應的判別函數（兩類問題）。用Matlab計算兩類識別問題：根據血液中白細胞的濃度來判斷病人是否患血液病。51習題試簡述先驗概率，類條件概率密度函數和后驗概率等概念間的關先驗概率、類條件概率密度函數

和后驗概率1.試簡述先驗概率，類條件概率密度函數和后驗概率等概念間的關系：先驗概率：根據大量統計確定某類事物出現的比例，如在我國大學中，一個學生是男生的先驗概率為0.7，而為女生的概率是0.3，這兩類概率是互相制約的，因為這兩個概率之和應滿足總和為1的約束。類條件概率密度函數：同一類事物的各個屬性都有一定的變化范圍，在這些變化范圍內的分布概率用一種函數形式表示，則稱為類條件概率密度函數。這種分布密度只對同一類事物而言，與其它類事物沒有關系。為了強調是同一類事物內部，因此這種分布密度函數往往表示成條件概率的形式。例如x表示某一個學生的特征向量，則，男生的概率密度表示成P(x|男生)，女生的表示成P(x|女生)，這兩者之間沒有任何關系，即一般的情況下P(x|w1)+P(x|w2)≠1，可為從[0,2]之間的任意值。后驗概率：一個具體事物屬于某種類別的概率，例如一個學生用特征向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)，這就是后驗概率。由于一個學生只可能為兩個性別之一，因此有P(男生|x)+P(女生|x)=1的約束，這一點是與類分布密度函數不同的。后驗概率與先驗概率也不同，后驗概率涉及一個具體事物，而先驗概率是泛指一類事物，因此P(男生|x)和P(男生)是兩個不同的概念。

52先驗概率、類條件概率密度函數

和后驗概率1.試簡述先驗概率演講完畢，謝謝觀看！演講完畢，謝謝觀看！53模式識別

PatternRecognition第二章貝葉斯決策理論武漢大學國際軟件學院Email:slwang2005@模式識別

PatternRecognition第二章貝葉54TableofContentsTableofContents2.1引言數據獲取預處理特征提取

與選擇分類決策分類器

設計信號空間特征空間562.1引言數據獲取預處理特征提取

與選擇分類決策分類器

設基本概念模式分類：根據識別對象的觀測值確定其類別樣本與樣本空間表示：類別與類別空間：c個類別（類別數已知）引言57基本概念模式分類：根據識別對象的觀測值確定其類別類別與類別空決策把x分到哪一類最合理？理論基礎之一是統計決策理論決策：是從樣本空間S，到決策空間Θ的一個映射，表示為

D:S-->Θ引言58決策把x分到哪一類最合理？理論基礎之一是統計決策理論引言5決策準則評價決策有多種標準，對于同一個問題，采用不同的標準會得到不同意義下“最優”的決策。Bayes決策常用的準則：最小錯誤率準則最小風險準則在限定一類錯誤率條件下使另一類錯誤率為最小的準則最小最大決策準則引言59決策準則評價決策有多種標準，對于同一個問題，采用不同的標準會2.2基于判別函數的分類器設計判別函數

(discriminantfunction)：

相應于每一類定義一個函數，得到一組判別函數：gi(x),i=1,2,…,c決策區域與決策面(decisionregion/surface)：602.2基于判別函數的分類器設計判別函數(discrimi判別

函數判別

函數61決策規則(decisionrule)規則表達1規則表達2判別

函數62決策規則(decisionrule)規則表達1規則表達2判分類器設計分類器是某種由硬件或軟件組成的“機器”：計算c個判別函數gi(x)最大值選擇ARGMAXg1...g2gc...x1x2xna(x)判別

函數多類識別問題的Bayes最小錯誤率決策：gi(x)=P(ωi|x)63分類器設計分類器是某種由硬件或軟件組成的“機器”：ARGMA2.3Bayes最小錯誤率決策以兩類分類問題為例：已知先驗分布P(ωi)和觀測值的類條件分布p(x|ωi)，i=1,2

問題：對某個樣本x，x∈ω1?x∈ω2？該決策使得在觀測值x下的條件錯誤率P(e|x)最小。Bayes決策理論是最優的。以后驗概率為判決函數：決策規則：即選擇P(ω1|x)，P(ω2|x)中最大值對應的類作為決策結果642.3Bayes最小錯誤率決策以兩類分類問題為例：已知先驗后驗概率P(ωi|x)的計算Bayes公式：假設已知先驗概率P(ωi)和觀測值的類條件分布p(x|ωi)，i=1,2最小錯誤率決策65后驗概率P(ωi|x)的計算Bayes公式：假設已知先公式簡化比較大小不需要計算p(x)：最小錯誤率決策66公式簡化比較大小不需要計算p(x)：最小錯誤率決策13公式簡化對數域中計算，變乘為加：最小錯誤率決策判別函數中與類別i無關的項，對于類別的決策沒有影響，可以忽略67公式簡化對數域中計算，變乘為加：最小錯誤率決策判別函數中與類Bayes最小錯誤率決策例解兩類細胞識別問題：正常(ω1)和異常(ω2)根據已有知識和經驗，兩類的先驗概率為：正常(ω1)：P(ω1)=0.9異常(ω2)：P(ω2)=0.1對某一樣本觀察值x，通過計算或查表得到：

p(x|ω1)=0.2，p(x|ω2)=0.4如何對細胞x進行分類？最小錯誤率決策68Bayes最小錯誤率決策例解兩類細胞識別問題：正常(ω1)和Bayes最小錯誤率決策例解（2）利用貝葉斯公式計算兩類的后驗概率：最小錯誤率決策決策結果69Bayes最小錯誤率決策例解（2）利用貝葉斯公式計算兩類的后圖解最小錯誤率決策p(x|ω1)p(x|ω2)p(ω1|x)p(ω2|x)類條件概率密度函數后驗概率70圖解最小錯誤率決策p(x|ω1)p(x|ω2)p(ω1|x)決策的錯誤率條件錯誤率：最小錯誤率決策（平均）錯誤率是條件錯誤率的數學期望（平均）錯誤率：71決策的錯誤率條件錯誤率：最小錯誤率決策（平均）錯誤率是條件錯決策的錯誤率（2）最小錯誤率決策條件錯誤率P(e|x)的計算:

以兩類問題為例，當獲得觀測值x后，有兩種決策可能：判定x∈ω1

，或者x∈ω2。條件錯誤率為：72決策的錯誤率（2）最小錯誤率決策條件錯誤率P(e|x)的計算決策的錯誤率（3）Bayes最小錯誤率決策使得每個觀測值下的條件錯誤率最小因而保證了（平均）錯誤率最小。Bayes決策是一致最優決策。最小錯誤率決策73決策的錯誤率（3）Bayes最小錯誤率決策使得每個觀測值下的決策的錯誤率（4）設t為兩類的分界面，則在特征向量x是一維時，t為x軸上的一點。兩個決策區域:

R1~(-∞，t)和R2~(t，+∞)最小錯誤率決策74決策的錯誤率（4）設t為兩類的分界面，則在特征向量x是一維時模式識別培訓課程課件752.4基于最小風險的Bayes決策決策的風險：做決策要考慮決策可能引起的損失。以醫生根據白細胞濃度判斷一個人是否患血液病為例：沒病(ω1)被判為有病(ω2)，還可以做進一步檢查，損失不大；有病(ω2)被判為無病(ω1)，損失嚴重。762.4基于最小風險的Bayes決策決策的風險：23損失矩陣損失的定義：(N類問題)

做出決策D(x)=ωi，但實際上x

∈ωj，受到的損失定義為：損失矩陣或決策表：最小風險

決策77損失矩陣損失的定義：(N類問題)

做出決策D(x)=ωi，期望條件風險與期望風險期望條件風險：獲得觀測值x后，決策D(x)造成的損失對x實際所屬類別的各種可能的平均，稱為條件風險R(D(x)|x)最小風險

決策期望風險：條件風險對觀測值x的數學期望78期望條件風險與期望風險期望條件風險：獲得觀測值x后，決策D(基于最小風險的Bayes決策基于最小風險的Bayes決策：決策帶來的損失的（平均）風險最小Bayes最小風險決策通過保證每個觀測值下的條件風險最小，使得它的期望風險最小，是一致最優決策。最小風險

決策決策規則：79基于最小風險的Bayes決策基于最小風險的Bayes決策：決最小風險決策的計算根據Bayes公式計算后驗概率P(ωj|x)根據后驗概率及給定的損失矩陣，算出每個決策的條件風險R(αi|x)按最小的條件風險進行決策。最小風險

決策損失矩陣在某些特殊問題，存在簡單的解析表達式。實際問題中得到合適的損失矩陣不容易。80最小風險決策的計算根據Bayes公式計算后驗概率P(ωj|x兩類問題最小風險Bayes決策用Bayes公式展開，最小風險Bayes決策得到：最小風險

決策81兩類問題最小風險Bayes決策用Bayes公式展開，最小風險Bayes最小風險決策例解兩類細胞識別問題：正常(ω1)和異常(ω2)根據已有知識和經驗，兩類的先驗概率為：正常(ω1)：P(ω1)=0.9異常(ω2)：P(ω2)=0.1對某一樣本觀察值x，通過計算或查表得到：

p(x|ω1)=0.2，p(x|ω2)=0.4λ11=0，λ12=6，λ21=1，λ22=0按最小風險決策如何對細胞x進行分類？最小風險

決策82Bayes最小風險決策例解兩類細胞識別問題：正常(ω1)和異Bayes最小風險決策例解（2）后驗概率：P(ω1|x)=0.818，P(ω2|x)=0.182決策結果最小風險

決策83Bayes最小風險決策例解（2）后驗概率：P(ω1|x)最小風險決策的一般性基于最小錯誤率的Bayes決策可作為最小風險Bayes決策的一種特殊情形。只需要定義損失為：最小風險

決策決策正確時，損失為0

決策錯誤時，損失為184最小風險決策的一般性基于最小錯誤率的Bayes決策可作為最小2.5正態分布的最小錯誤率Bayes決策Bayes決策的三個前提：類別數確定各類的先驗概率P(ωi)已知各類的條件概率密度函數p(x|ωi)已知Bayes決策中，類條件概率密度的選擇要求：模型合理性計算可行性最常用概率密度模型：正態分布觀測值通常是很多種因素共同作用的結果，根據中心極限定理，它們（近似）服從正態分布。計算、分析最為簡單的模型。852.5正態分布的最小錯誤率Bayes決策Bayes決策的三一元正態分布一元正態分布及其兩個重要參數：均值（中心）方差（分散度）正態分布

Bayes決策86一元正態分布一元正態分布及其兩個重要參數：正態分布

Baye多元正態分布觀測向量x：實際應用中，可以同時觀測多個值，用向量表示。多元正態分布：正態分布

Bayes決策87多元正態分布觀測向量x：實際應用中，可以同時觀測多個值，用向多元正態分布的性質參數μ和Σ完全決定分布等概率密度軌跡為超橢球面不相關性等價于獨立性邊緣分布和條件分布的正態性線性變換的正態性線性組合的正態性正態分布

Bayes決策88多元正態分布的性質參數μ和Σ完全決定分布正態分布

Bayes參數μ和Σ完全決定分布協方差矩陣是對稱矩陣多元正態分布由n+n(n+1)/2個參數所完全決定正態分布89參數μ和Σ完全決定分布協方差矩陣是對稱矩陣正態分布36等概率密度軌跡為超橢球面等概率密度軌跡為超橢球面Mahalanobis距離正態分布90等概率密度軌跡為超橢球面等概率密度軌跡為超橢球面正態分布37不相關性等價于獨立性多元正態分布的任意兩個分量互不相關，則它們一定獨立正態分布不相關獨立91不相關性等價于獨立性多元正態分布的任意兩個分量互不相關，則它線性變換的正態性多元正態隨機向量x正態分布對x進行線性變換得到多元正態隨機向量y92線性變換的正態性多元正態隨機向量x正態分布對x進行線性變換得線性組合的正態性多元正態隨機向量x正態分布對x的分量進行線性組合得到隨機標量y93線性組合的正態性多元正態隨機向量x正態分布對x的分量進行線性正態分布的最小錯誤率Bayes決策觀測向量的類條件分布服從正態分布：判別函數的定義與計算：正態分布

Bayes決策判別函數中與類別i無關的項，對于類別的決策沒有影響，可以忽略94正態分布的最小錯誤率Bayes決策觀測向量的類條件分布服從正最小距離分類器與線性分類器第一種特例：判別函數的簡化計算：正態分布

Bayes決策最小距離

分類器線性分類器95最小距離分類器與線性分類器第一種特例：判別函數的簡化計算：正最小距離分類器與線性分類器第二種特例：判別函數的簡化計算：正態分布

Bayes決策Mahalanobis

距離線性分類器96最小距離分類器與線性分類器第二種特例：判別函數的簡化計算：正正態模型的Bayes決策面兩類問題正態模型的決策面：決策面方程：g1(x)=g2(x)兩類的協方差矩陣相等，決策面是超平面。兩類的協方差矩陣不等，決策面是超二次曲面。正態分布

Bayes決策97正態模型的Bayes決策面兩類問題正態模型的決策面：正態分布正態模型的Bayes決策面正態分布

Bayes決策98正態模型的Bayes決策面正態分布

Bayes決策45正態分布下的幾種決策面的形式正態分布

Bayes決策正態分布下的幾種決策面的形式正態分布

Bayes決策99正態分布的Bayes決策例解兩類的識別問題：醫生要根據病人血液中白細胞的濃度來判斷病人是否患血液病。根據醫學知識和以往的經驗，醫生知道：患病的人，白細胞的濃度服從均值2000，標準差1000的正態分布；未患病的人，白細胞的濃度服從均值7000，標準差3000的正態分布；一般人群中，患病的人數比例為0.5%。一個人的白細胞濃度是3100，醫生應該做出怎樣的判斷？正態分布

Bayes決策100正態分布的Bayes決策例解兩類的識別問題：醫生要根據病人血正態分布的Bayes決策例解數學表示：用ω表示“類別”這一隨機變量，ω1表示患病，ω2表示正常；x表示“白細胞濃度”這個隨機變量。本例醫生掌握的知識非常充分，他知道：1)類別的