1、1數(shù) 學(xué) 基 礎(chǔ)Mathematical foundation不確定性人工智能課件之二主要內(nèi)容 正態(tài)分布 冪律分布 模糊集和二型模糊集 粗糙集一 正態(tài)分布（高斯分布）正態(tài)分布是最常用的連續(xù)分布，十九世紀(jì)前即被高斯大力推廣，也稱高斯分布。歷史悠久，應(yīng)用廣泛，地位崇高，難以動搖。最常用的連續(xù)分布正態(tài)分布（高斯分布）中心極限定理表明：一個(gè)變量如果是由大量的、微小的、獨(dú)立的隨機(jī)因素疊加的結(jié)果，那么這個(gè)變量服從或近似服從正態(tài)分布。如：測量誤差、射擊偏差、小麥穗長、人的身高、年降雨量、信號噪聲等。正態(tài)分布的概念變量的頻數(shù)或頻率呈“中間大，兩頭小”的一種概率分布。從理論上說，若隨機(jī)變量X的概率密度函數(shù)為：則

2、稱X服從均值為，方差為2的正態(tài)分布。正態(tài)分布的特征兩個(gè)參數(shù)：均值位置參數(shù)，方差2形狀（差異度）參數(shù)。 正態(tài)分布由均值和標(biāo)準(zhǔn)差唯一確定。鐘形曲線：密度函數(shù)以均值為中心，兩端對稱衰減，以X軸為漸近線的鐘形曲線。概率密度曲線：均值決定圖形的中心位置，方差決定“陡峭”程度。方差 2的大小與數(shù)據(jù)分散程度成正比 范圍內(nèi)的概率為68.26%2范圍內(nèi)的概率為95.43%3范圍內(nèi)的概率為99.73%正態(tài)分布的3準(zhǔn)則對正態(tài)分布而言，取值落在：可以認(rèn)為，正態(tài)分布的取值幾乎全部集中在-3，+3區(qū)間內(nèi)，稱為正態(tài)分布的3準(zhǔn)則。3準(zhǔn)則表明：正態(tài)分布有一個(gè) “特征尺度”（均值），個(gè)體在特征尺度附近變化很小（ 3 ）。如身高，

3、絕大多數(shù)中國成年男子身高都在平均值1.70米左右，會有一定變化，但低于一米“小矮人” 或高于兩米的“巨人”極少。 對于另一些分布，像國家GDP或個(gè)人收入，情況則不同。個(gè)體的尺度可以在很大的范圍內(nèi)變化，往往跨越多個(gè)數(shù)量級。想想世界首富比爾的資產(chǎn)和你的個(gè)人收入就清楚了。正態(tài)分布的形成機(jī)制：中心極限定理如果隨機(jī)變量由大量的相互獨(dú)立的隨機(jī)因素綜合影響，而其中每一個(gè)別因素在總的影響中所起的作用都是微小的，則該隨機(jī)變量近似服從正態(tài)分布。二 冪律分布若隨機(jī)變量X的概率密度函數(shù)為：則稱X服從參數(shù)為k的冪律分布，c為常數(shù)。k稱為冪指數(shù)。冪律分布特性：在雙對數(shù)坐標(biāo)下呈直線絕大多數(shù)事件的規(guī)模很小，而只有少數(shù)事件的規(guī)

4、模相當(dāng)大。物理學(xué)家則習(xí)慣于把服從冪律分布的現(xiàn)象稱為無尺度現(xiàn)象 。雙對數(shù)坐標(biāo)正態(tài)與冪律的區(qū)別：正態(tài)：鐘形冪律：長尾屋內(nèi)有100個(gè)人，姚明加入進(jìn)去其平均身高并不會有太大變化，而當(dāng)比爾.蓋茨進(jìn)來，整個(gè)屋子的人將“平均”成千萬富翁。相對于身高的正態(tài)分布，人的財(cái)富呈冪律分布。對冪律而言，期望是沒有意義的。 冪律分布數(shù)學(xué)形式簡單，在正態(tài)分布統(tǒng)治的世界里曾長期被忽視。對“冪律” 做出重要貢獻(xiàn)的是Zipf，Pareto，以及Barabsi與Albert師徒。 Zipf定律：英文單詞出現(xiàn)的頻率與它的名次的常數(shù)次冪存在簡單的反比關(guān)系：P(r)r(-)。（1932年） 該定律表明：中，只有極少數(shù)的英語單詞被經(jīng)常使用

5、，而絕大多數(shù)詞很少被使用。實(shí)際上，包括漢語在內(nèi)的許多國家的語言都有這種特點(diǎn)。 Pareto定律：個(gè)人收入X不小于某個(gè)特定值x的概率與x的常數(shù)次冪亦存在簡單的反比關(guān)系：PXkx(-k)。（19世紀(jì)） 又稱“二八法則”，即20%的人口占有80%的社會財(cái)富。 BA模型：1999年，Barabsi與Albert針對復(fù)雜網(wǎng)絡(luò)中普遍存在的冪律分布現(xiàn)象，提出了網(wǎng)絡(luò)動態(tài)演化的BA模型，提出增長與優(yōu)先連接是網(wǎng)絡(luò)度分布呈現(xiàn)冪律分布的兩個(gè)根本原因。 近年來，在復(fù)雜網(wǎng)絡(luò)研究過程中，科學(xué)家們發(fā)現(xiàn)了眾多的冪律分布。雖然這些網(wǎng)絡(luò)在結(jié)構(gòu)及功能上千變?nèi)f化，但是節(jié)點(diǎn)的度分布卻同樣滿足冪律分布，且冪指數(shù)多在大于2小于3的范圍。 冪

6、律分布與分形、非線性、復(fù)雜性密切相關(guān)，它支配了所有具有自相似特性的無尺度網(wǎng)絡(luò)。 冪律分布廣泛存在于物理學(xué)、地球與行星科學(xué)、計(jì)算機(jī)科學(xué)、生物學(xué)、生態(tài)學(xué)、社會科學(xué)、經(jīng)濟(jì)與金融學(xué)等眾多領(lǐng)域。 冪律分布的形成機(jī)制： 增長與優(yōu)先依附 自組織臨界 HOT理論 滲流模型 一些隨機(jī)過程 正態(tài)分布的形成機(jī)制：中心極限定理 隨機(jī)變量的結(jié)果受眾多相互獨(dú)立的隨機(jī)因素影響，每一因素的影響都是微小的，則服從正態(tài)分布冪律分布：不均勻、不平衡、巨大差異.正態(tài)分布：均勻、一致、和諧目前，冪律分布是眾多學(xué)科研究的熱點(diǎn)。其簡潔優(yōu)雅的形式，將許多似乎毫不相干的事物聯(lián)系在一起，這種獨(dú)特的魅力吸引了物理學(xué)家、生物學(xué)家、天文學(xué)家、地質(zhì)學(xué)家

7、、數(shù)學(xué)家和社會學(xué)家等各領(lǐng)域的研究者。三 模糊集與二型模糊集天氣冷熱雨的大小風(fēng)的強(qiáng)弱人的胖瘦年齡大小個(gè)子高低模糊概念、模糊現(xiàn)象 1965年, L. A. Zadeh第一次提出了模糊集合(Fuzzy sets), 從不同于經(jīng)典數(shù)學(xué)的角度, 給出了模糊概念的定量表示方法。 經(jīng)典集合： 元素被嚴(yán)格劃分為屬于或不屬于該集合，不存在介于兩者之間元素。模糊集合： 允許元素對集合部分隸屬，可以從“不隸屬”到“隸屬”逐步過渡。基本概念模糊集合：設(shè)X是全集(或論域)，稱映射 ：X0,1確定了一個(gè)X中的模糊集合A，(x)稱為A的隸屬函數(shù)，它表示x對A的隸屬程度。當(dāng)映射(x)只取0或1時(shí)，模糊集合A就是經(jīng)典子集，而(

8、x)就是它的特征函數(shù)。可見經(jīng)典集合就是模糊集合的特殊情形。113經(jīng)典集合模糊集合1136例：令X = 0,100 為人類年齡的集合,模糊集合 B = “年齡在50歲左右”，則B可表示為: 模糊集合的表示(Zadeh表示法)注意:并非求和和積分符號。例如：C = 0.1/0+0.3/1+0.7/2+1.0/4+0.3/5+0.1/6/ 不是除法運(yùn)算截集 交叉點(diǎn)核支集：支集核交叉點(diǎn)截集交叉點(diǎn)包含或子集：并（析取）交（合取）補(bǔ)（負(fù)）常見隸屬函數(shù)1. 三角形隸屬函數(shù)2. 梯形隸屬函數(shù)3. 高斯形隸屬函數(shù)4. 一般鐘形隸屬函數(shù)確定隸屬函數(shù)的常用方法：統(tǒng)計(jì)方法領(lǐng)域經(jīng)驗(yàn)專家確定Jerry M. Mendel

9、 網(wǎng)站：/mendel/Email: mendel 南加利福利亞大學(xué)電子工程系信號與圖像處理(SIPI)研究所教授 Chairman of the Fuzzy Systems Technical Committee for the IEEE Computational Intelligence Society 二型模糊集合模糊性用隸屬度表示，而隸屬度本身也是一個(gè)模糊集。 二型模糊集示例圖x軸表示樣本，u軸表示主隸屬度(primary membership)，z軸表示次隸屬度(secondary membership)。二型模糊集Type-2 fuzzy sets are fuzzy sets

10、whose membership grades themselves are type-1 fuzzy sets。二型模糊集是模糊的再模糊，具體處理方法：一種是將樣本的隸屬度用一個(gè)均勻區(qū)間來表示，在區(qū)間內(nèi)次隸屬度均為1，即區(qū)間二型模糊集合。另一種是設(shè)所有樣本的隸屬度的隸屬度（次隸屬度）都符合鐘型函數(shù)，構(gòu)成鐘型二型模糊集合。 注重樣本隸屬度變化的邊界，進(jìn)而簡化和處理問題。分為：區(qū)間二型模糊集，隸屬度在區(qū)間內(nèi)均勻分布，其二型隸屬度均為1，是目前最常用的二型模糊集 。高斯二型模糊集，將樣本的隸屬度用一個(gè)高斯隸屬函數(shù)來表示 ，目前還很不成熟 。 一般二型模糊集，計(jì)算復(fù)雜度較高，目前沒有研究。 二型模糊

11、集的類型區(qū)間型：將模糊集的隸屬度用一個(gè)均勻區(qū)間來表示。鐘型：不管主隸屬函數(shù)是什么形態(tài)，次隸屬函數(shù)都是鐘型函數(shù)。主隸屬函數(shù)如：x=4時(shí)，隸屬度為0.6的隸屬度=1。所有點(diǎn)的次隸屬度均為鐘型函數(shù) 隨機(jī)性與模糊性的區(qū)別隨機(jī)性事件本身具有明確含意事件是否出現(xiàn)具有不確定性0,1上概率分布函數(shù)描述模糊性事物的概念本身是模糊的概念外延的不確定性：模糊性0,1上的隸屬函數(shù)描述 模糊集是處理含糊現(xiàn)象的一種方法，但它采用隸屬函數(shù)來處理模糊性，而基本的隸屬度是憑經(jīng)驗(yàn)或者由領(lǐng)域?qū)＜医o出，所以具有相當(dāng)?shù)闹饔^性。 四 粗糙集 20世紀(jì)80年代初，波蘭的Pawlak針對“邊界不清”提出了粗糙集（Rough Set）他把那些

12、無法確認(rèn)的個(gè)體都?xì)w屬于“邊界區(qū)域”， “邊界區(qū)域”被定義為上近似集和下近似集之差集。由于它有確定的數(shù)學(xué)公式描述，完全由數(shù)據(jù)決定，所以更有客觀性 。1991，Pawlak：Rough Sets：Theoretical Aspects of Reasoning about Data 粗糙集理論的主要優(yōu)勢之一是它不需要預(yù)備的或額外的有關(guān)數(shù)據(jù)信息。自提出以來，許多計(jì)算機(jī)科學(xué)家和數(shù)學(xué)家對粗糙集理論及其應(yīng)用進(jìn)行了堅(jiān)持不懈的研究，使之在理論上日趨完善，特別是由于20世紀(jì)80年代末和90年代初在知識發(fā)現(xiàn)等領(lǐng)域得到了成功的應(yīng)用而越來越受到國際上的廣泛關(guān)注。粗糙集理論認(rèn)為：知識是一種對對象進(jìn)行分類的能力。粗糙集理

13、論建立在分類機(jī)制的基礎(chǔ)上，是對邊界區(qū)域不清晰地一種描述方法。把知識理解為對數(shù)據(jù)的劃分，每一被劃分的集合稱為概念，利用已有的知識庫，利用知識庫中的已知知識近似地描述不確定或者不精確知識。粗糙集的基本定義 一個(gè)近似空間（或知識庫）定義為一個(gè)關(guān)系系統(tǒng)（或二元組） K=(U,R) 其中U（為空集）為論域，R是U上等價(jià)關(guān)系的一個(gè)族集。 為數(shù)學(xué)處理方便，常用等價(jià)關(guān)系來代替分類： 定義1：設(shè)PR，且P ，P中所有等價(jià)關(guān)系的交集稱為P上的一種不可區(qū)分關(guān)系，記作IND(P)，即 IND(P)也是等價(jià)關(guān)系且是唯一的。不可區(qū)分關(guān)系的概念是粗糙集理論的重要基礎(chǔ)，揭示出論域知識的粒狀結(jié)構(gòu)。 定義2：給定近似空間K=(U

14、, R)，子集XU稱為U上的一個(gè)概念。 非空子集族PR所產(chǎn)生的不可區(qū)分關(guān)系IND(P) 即U/IND(P)，稱為基本知識，相應(yīng)的等價(jià)類稱為基本概念；特別地，若關(guān)系QR，則關(guān)系Q就稱為初等知識，相應(yīng)的等價(jià)類就稱為初等概念。 根據(jù)上述定義，概念即對象的集合，概念的族集（分類）就是U上的知識，U上分類的族集可以認(rèn)為是U上的一個(gè)知識庫，或說知識庫即是分類方法的集合。 粗糙集理論與經(jīng)典集合理論有著相似之處，但是出發(fā)點(diǎn)完全不同。經(jīng)典集合論認(rèn)為，一個(gè)集合完全是由其元素所決定，一個(gè)元素要么屬于這個(gè)集合，要么不屬于這個(gè)集合，即它的隸屬函數(shù)X(x)0,1。模糊集合對此做了拓廣，它給成員賦予一個(gè)隸屬度，即X(x)0

15、,1，使得模糊集能夠處理一定的不確定性。但是隸屬度的確定具有人為因素，這給應(yīng)用帶來了不便。粗糙集中，隸屬關(guān)系不再是一個(gè)原始概念，無需人為給定隸屬度，從而避免了主觀因素的影響。概念的邊界： 著名哲學(xué)家Frege認(rèn)為“概念必須有明確的邊界。沒有明確邊界的概念，將對應(yīng)于一個(gè)在周圍沒有明確界線的區(qū)域”。粗糙集理論中的不確定性就是一種基于邊界的概念，即一個(gè)不精確的概念具有模糊的不可被明確劃分的邊界。 知識的粒度性是造成使用已有知識不能精確地表示某些概念的原因。這就產(chǎn)生了不精確“邊界”思想。 為刻畫模糊邊界，每個(gè)不精確概念由一對稱為上近似與下近似的精確集合來表示。 X的下近似集：R*(X)=x:(xU)

16、(xRX ) X的上近似集：R*(X)=x:(xU) (xRX )X的邊界區(qū)域：BNR(X)=R*(X)R*(X) 若BNR(X) ，則集合X就是一個(gè)粗糙概念或粗糙集合。定義3： 下近似又稱正域，是由那些根據(jù)知識R判斷，肯定屬于X的U中元素組成的集合，如圖所示黑色部分；上近似是那些根據(jù)知識R判斷，可能屬于X的U中元素組成的集合，如圖中的黑色部分與灰色部分之和；負(fù)域是那些根據(jù)知識R判斷肯定不屬于X的U中元素組成的集合，如圖中的白色部分；邊界域是那些根據(jù)知識R既不能判斷肯定屬于X又不能判斷肯定屬于（UX）的U中元素的集合，如圖中的灰色部分。 集合X的邊界X的下近似X的上、下近似之差粗糙隸屬關(guān)系：

17、定義4 設(shè)XU且xU,集合X的粗糙隸屬函數(shù)定義為 其中R是不可區(qū)分關(guān)系，R(x)=xR=y:(yU)(yRx) 這里的隸屬關(guān)系是根據(jù)已有的分類知識客觀計(jì)算出來的，可以被解釋為一種條件概率，能夠從全域上的個(gè)體加以計(jì)算，而不是主觀給定的。例： 設(shè)有一知識庫K=U,p,q,r其中U=x1,x2,x3,x4,x5,x6,x7,x8且U/p=x1,x4,x5,x2,x8,x3,x6,x7U/q=x1,x3,x5,x6,x2,x4 ,x7,x8 U/r=x1,x5,x6,x2,x7,x8,x3,x4 則x1p=x1 ,x4 ,x5x1q= x1 ,x3 ,x5。若P=p,q,r則IND(P)= x1,x5

18、,x2,x8,x3,x4,x6,x7 對于U上的子集X1=x1,x4,x7可得到P* X1=x4x7=x4 ,x7P* X1=x1 ,x5x4x7=x1 ,x4 ,x5 ,x7利用上近似和下近似這兩個(gè)精確集合，粗糙集合也定義了粗糙關(guān)系，主要是成員關(guān)系、粗糙相等和粗糙包含。 與經(jīng)典集合相比，粗糙集的成員、相等、包含關(guān)系都與不可區(qū)分關(guān)系所表示的論域的知識有關(guān)。因此，一個(gè)元素是否屬于某一粗糙集合是相對的，依賴于初始的知識庫，如果初始知識庫中的知識粒度發(fā)生改變，那么這些關(guān)系都將改變。或者說，一個(gè)元素是否屬于某個(gè)粗糙集，不是該元素客觀的性質(zhì)，而取決于我們對它的了解程度。同樣，集合的相等和包含也沒有絕對的意義，而是取決于我們對所研究的問題中的集合的了解程度。粗糙集理論主要存在的問題是：1)對原始數(shù)據(jù)本身的模糊性缺乏相應(yīng)的處理能力；2)對于邊界區(qū)域的刻畫過于簡單； 實(shí)際應(yīng)用中，往往同時(shí)存在多種不確定