1、華東理工大學East China University of Science And Technology主觀主觀BayesBayes方法方法陳志華主要內容主要內容l1. 概率論基礎概率論基礎l2. 主觀主觀Bayes方法的基本理論方法的基本理論l3. 主觀主觀Bayes方法的基本模型方法的基本模型前言前言l主觀主觀Bayes方法方法 一種不確定性推理算法一種不確定性推理算法 以概率論中的以概率論中的Bayes公式為基礎公式為基礎 首先應用于專家系統首先應用于專家系統PROSPECTOR系統系統和前述推理方法的區別和前述推理方法的區別l不確定性推理不確定性推理當一個或多個新證據出現時，根當一個

2、或多個新證據出現時，根據推理規則，計算據推理規則，計算結論的可信度結論的可信度推理前不知道結論的概率信息推理前不知道結論的概率信息l主觀主觀Bayes方法（條件概率）方法（條件概率） 當一個事件發生后，先驗概率如當一個事件發生后，先驗概率如何轉變為后驗概率何轉變為后驗概率推理前知道推理前知道結論的先驗概率信息結論的先驗概率信息規則的表示不一樣規則的表示不一樣1. 概率論基礎概率論基礎條件概率：條件概率： 設設A，B是兩個隨機事件，是兩個隨機事件， ，則，則是在是在B事件已經發生的條件下，事件已經發生的條件下， A事件發生的概率事件發生的概率。 乘法定理乘法定理: :0)(BP)()()|(BP

3、BAPBAP)()|()(BPBAPBAP全概率公式：設全概率公式：設 事件滿足：事件滿足： 兩兩互不相容，即當兩兩互不相容，即當 時，有時，有 樣本空間樣本空間 則對任何事件則對任何事件B, 有下式成立：有下式成立： 稱為稱為全概率公式全概率公式。 ji jiAA )1 ( 0)(niAPiniiAD1)|()()(1iniiABPAPBPnAAA,21l根據全概率公式及乘法定理可以得到根據全概率公式及乘法定理可以得到Beyes公式公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni, 2 , 12. 基本理論基本理論l 主觀主觀Bayes方法的基本思想方法的基本思

4、想 由于證據由于證據E的出現，使得的出現，使得P (R)變為變為P(R|E) 主觀主觀Bayes方法方法,就是研究利用證據就是研究利用證據E，將先驗概率將先驗概率P( R)更新為后驗概率更新為后驗概率P(R|E)l 先驗概率先驗概率P( R), 即不考慮證據即不考慮證據E出現的前出現的前提下，結論結論提下，結論結論R成立的概成立的概2. 基本理論基本理論l一一. . 知識不確定性的表示（產生式知識不確定性的表示（產生式規則）規則）l 其中其中 LS: 充分性量度充分性量度 LN: 必要性量度必要性量度 P(R) : R的先驗概率的先驗概率)(),(RPRLNLSTHENEIF二二. 基本算法基

5、本算法l證據證據E有三種情形有三種情形 1) 肯定存在，即肯定存在，即P(E)=1 2) 肯定不存在，肯定不存在， P(E)=0 3) 不確定，不確定， 0P(E)1，使得，使得P(R|E)P(R) LS1, 使得使得P(R|E)1，使得，使得P(R| E)P(R) LN1, 使得使得P(R| E)P(R)例子例子l假設有如下規則假設有如下規則: 規則規則1: IF E1 THEN(10,1) R1(0.03) 規則規則2: IF E2 THEN (20,1) R2(0.05) 規則規則3: IF E3 THEN (1,0.002) R3(0.3) 求求(1) 當當E1,E2,E3都存在時都存

6、在時, P(Ri|Ei) (2)當當E1,E2,E3都不存在時都不存在時, P(Ri| Ei)l分析：分析：利用公式利用公式5，6l答案答案:00086.0)3|3(05.0)2|2(03.0)1|1(3.0)3|3(51.0)2|2(24.0)1|1(ERPERPERPERPERPERP練習練習l 設有如下推理規則：設有如下推理規則： R1: IF E1 THEN (2,0.5)H1 R2: IF E2 THEN (1,0.2)H2 R3: IF E3 THEN (5,0.1)H3l 并且已知并且已知P(H1)=0.2, P(H2)=0.1, P(H3)=0.4l 計算當證據計算當證據E1,

7、E2,E3存在或不存在時，存在或不存在時，P(Hi|Ei)或或P(Hi|Ei)的值各是多少？的值各是多少？(i=1,2,3)3) 證據證據E不確定不確定l在現實中在現實中,證據往往是證據往往是不確定的不確定的,即即無法肯定它一定存在或一定不存在無法肯定它一定存在或一定不存在用戶提供的原始證據不精確用戶提供的原始證據不精確 用戶的觀察不精確用戶的觀察不精確推理出的中間結論不精確推理出的中間結論不精確l假設假設S是對是對E的觀察的觀察,則則P(E|S)表示在表示在觀察觀察S下下, E為真的概率為真的概率, 值在值在0,1；l此時此時0P(E|S)1，故計算后驗概率故計算后驗概率P(R|S), 不能

8、使用不能使用Bayes公式公式l可以采用下面的公式修正（可以采用下面的公式修正（杜達公式杜達公式）)|()|()|()|()|(SEPERPSEPERPSRP（式式7 7）后驗概率后驗概率P(R|S)的計算的計算-1l 針對杜達公式，分四種情況討論針對杜達公式，分四種情況討論l 1）E肯定存在，即肯定存在，即P(E|S)=1, 且且P( E | S)=0，杜達公式簡化為：，杜達公式簡化為：l 注意：同時利用了注意：同時利用了公式公式51)() 1()()|()|(RPLSRPLSERPSRP后驗概率后驗概率P(R|S)的計算的計算-2l2）E肯定不存在，即肯定不存在，即P(E|S)=0, P(

9、 E | S)=1，杜達公式簡化為：，杜達公式簡化為：l注意：同時利用了注意：同時利用了公式公式61)() 1()()|()|(RPLNRPLNERPSRP后驗概率后驗概率P(R|S)的計算的計算-3l3） P(E|S)= P(E)，即，即E和和S無關無關, 利用全概率公式（公式利用全概率公式（公式7），杜），杜達公式可以化為：達公式可以化為：)()()|()()|()|(RPEPERPEPERPSRP后驗概率后驗概率P(R|S)的計算的計算-4l當當P(E|S)為為其它值其它值（非（非0，非，非1，非，非P(E)）時，則需要通過時，則需要通過分段線形插值計算分段線形插值計算：1)|()(),

10、()|()(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPRPERPRPEPSEPSEPEPERPRPERPSRP當當公式公式8 8后驗概率后驗概率P(R|S)的線性插值圖的線性插值圖)|(SRP)|(SEP)(RP)(EP)|(ERP)|(ERP1杜達公式的說明杜達公式的說明lP(E|S) 由用戶給定，但是由用戶給定，但是P(E)和和P(E|S)很難區分和取值很難區分和取值l解決方法解決方法: 替代法替代法 對于原始證據，由用戶給定可信對于原始證據，由用戶給定可信度度 C(E|S)，對應，對應P(E|S) C(E|S) 取值從取值從-5到到5的整數的整

11、數)|(SEP)|(SEC)(EP-5 -4 -3 -2 -1 0 1 2 3 4 5 P(E|S)=1P(E|S)=00)|(),|(51)()|()(0)|(),1)|(51()|()()|()|(SECSECRPERPRPSECSECERPRPERPSRP此時公式此時公式8 8變換為公式變換為公式9 9公式公式9 93. 推理模型推理模型l 一一. 組合證據不確定性的計算組合證據不確定性的計算 組合證據為多個證據的合取組合證據為多個證據的合取時時,即即E=E1 AND E2 AND En 組合證據為多個證據的析取組合證據為多個證據的析取時時,即即E=E1 OR E2 OR En)(),.

12、,(),(min)(21nECFECFECFECF)(),.,(),(max)(21nECFECFECFECFl二二. 證據不確定性的傳遞證據不確定性的傳遞l(1) 對于葉結點證據對于葉結點證據E的傳遞的傳遞l該公式基于該公式基于R-E-S的推理鏈的推理鏈0)|(),|(51)()|()(0)|(),1)|(51()|()()|()|(SECSECRPERPRPSECSECERPRPERPSRP公式公式9 9RES葉結點不確定性的傳遞葉結點不確定性的傳遞l三三. 結論不確定性的合成結論不確定性的合成 n條規則都支持同一結論條規則都支持同一結論R, 這些規則的這些規則的前提條件前提條件E1,E2

13、, En 相相互獨立互獨立 每個證據所對應的觀察為每個證據所對應的觀察為S1,S2, Snl先計算先計算O(R|Si)，然后再計算所有觀察然后再計算所有觀察下，下， R的后驗幾率計算方法的后驗幾率計算方法: (公式公式11)()()|()()|()()|(),|(2121ROROSROROSROROSROSSSROnn例例 題題l 設有如下規則：設有如下規則： 規則規則1: IF E1 THEN (2,0.001) R 規則規則2: IF E2 THEN (100,0.001) R 且且O(R)=0.1, C(E1|S1)=2, C(E2|S2)=1l 試畫出推理樹，并計算試畫出推理樹，并計算

14、O(R|S1,S2)RE1S1E2S2推理樹推理樹2) 1| 1(SEC1) 2| 2(SEC)001. 0 , 2()01. 0 ,100(1 . 0) 1(ROP(R|S1,S2)O(R|Si)P(R|Si)公式公式9解題步驟解題步驟：l(1)先計算先計算P(R|S1), 并計算并計算O(R|S1); 利用公式利用公式2，公式，公式5，公式，公式9l(2)兩條規則支持同一個結論，計算兩條規則支持同一個結論，計算O(R|S1,S2); 利用公式利用公式1114. 0122. 01122. 0) 1|(1) 1|() 1|(122. 0251)09. 017. 0(09. 0) 1|1(51)

15、() 1|()() 1|(0) 1|1(17. 01 . 0211 . 02)(11)(1) 1|(09. 01 . 011 . 0)(1)()()|()|(1SRPSRPSROSECRPERPRPSRPSECROLSROLSERPRORORPSiROSiRP所以因為和：計算步驟43 . 0542 . 01542 . 0)2|(1)2|()2|(542 . 0151)09. 019 . 0(09. 0)2|2(51)()2|()()2|(0)2|2(91. 01 . 010011 . 0100)(21)(2)2|(SRPSRPSROSECRPERPRPSRPSECROLSROLSERP所以因為

16、476. 01 . 01 . 034. 01 . 0139. 0)()()2|()() 1|()2, 1|()2, 1|(:2ROROSROROSROSSROSSRO規則的合成，計算步驟小小 結結l主觀主觀Bayes方法（條件概率）方法（條件概率） 當一個事件發生后，先驗概率如何轉變當一個事件發生后，先驗概率如何轉變為后驗概率為后驗概率 推理前知道結論的先驗概率信息推理前知道結論的先驗概率信息l證據不確定時，證據不確定時，必須采用杜達等人推導的必須采用杜達等人推導的公式公式: P(R|S)=P(R|E) P(E|S)+P(R|E) P(E|S)l傳遞公式傳遞公式: 公式公式9和公式和公式10l設有如下規則：設有如下規則： 規則規則1: IF E1 THEN