測量信息論

“信息”一詞是本世紀(jì)20年代人們在研究通信的一般規(guī)律時由哈特來（R.V.Hartley）等人提出。而仙農(nóng)（C.E.Shannon）在1948年發(fā)表的<通信的數(shù)學(xué)理論>的著名論文中奠定了信息論的理論基礎(chǔ)。信息論源于通信工程，背景是關(guān)于通訊中的：

⒈

信息傳輸?shù)男盛?/p>

信息傳輸?shù)臏?zhǔn)確性⒊

噪聲干擾⒋

信道頻率特性廣義通信系統(tǒng)，即信息流通系統(tǒng)

廣義通信系統(tǒng)模型

信息從信息源（informationsource）傳送到信宿。發(fā)信器（transmitter）又稱編碼器，把信息變換成物理信號。受信器（receiver）又稱譯碼器，把物理信號轉(zhuǎn)換成信宿能感知的信息的裝置。信宿（destination）是信息傳輸?shù)膶ο蟆Ｐ畔⒌亩棵枋觥旁茨Ｐ团c信息熵。

自然科學(xué)通常都應(yīng)作定量的描述，定性描述只能解釋一些現(xiàn)象。從理論上研究信息大小當(dāng)作定量描述。Shannon信息理論的貢獻(xiàn)在于：運(yùn)用概率論與數(shù)理統(tǒng)計(jì)學(xué)方法，對信息給予了數(shù)學(xué)描述。從而使信息論作為一門科學(xué)建立起來。

信源的輸出是隨機(jī)的。信源的輸出常用隨機(jī)變量或隨機(jī)矢量來描述，從隨機(jī)變量出發(fā)研究信息，是shannon信息理論的基本假設(shè)。由概率論可知，隨機(jī)變量可取值于某一離散集合，也可取值于某一連續(xù)區(qū)間，相應(yīng)的信源稱為離散信源及連續(xù)信源。離散信源模型

離散信源模型是離散型概率空間，即:x1,x2,…,xN

描述信源輸出的可能狀態(tài)。P（x1）P（x2）P（xN）

描述各種狀態(tài)出現(xiàn)的可能性。

信源狀態(tài)的出現(xiàn)是不相容的。

例如：拋硬幣其中，P（x1）=P（x2）=0.5，該系統(tǒng)為等概率事件，稱為先驗(yàn)概率。

用超聲波檢測物體內(nèi)部有無裂紋

X1

代表物體內(nèi)部有裂紋X2

代表物體內(nèi)部無裂紋自信息某事件發(fā)生所含有信息量稱為自信息，它是該事件發(fā)生的先驗(yàn)概率的函數(shù)，即

I（xi）=f[P（xi）]P（xi）是事件xi發(fā)生的先驗(yàn)概率；I（xi）表示事件xi發(fā)生所含有的信息量。

信源中某一狀態(tài)發(fā)生的先驗(yàn)概率很小，但一旦發(fā)生，所獲得的信息量就多。例如：一臺新機(jī)器，具有正常工作和發(fā)生事故兩種可能狀態(tài)。

正常工作概率為P（x1）=0.99，

發(fā)生故障概率為P（x2）=0.01。一旦發(fā)生故障，則是一件引人注目的事件。I（xi）與P（xi）有以下關(guān)系：

I（xi）是P（xi）的單調(diào)遞減函數(shù)；當(dāng)P（xi）=1時，I（xi）=0，必然事件信息量為零；當(dāng)P（xi）=0時，I（xi）=∞，不可能發(fā)生的事件發(fā)生了，信息量為無窮大；兩個獨(dú)立事件的聯(lián)合信息量，應(yīng)等于它們各自信息量之和。I（xi）與P（xi）關(guān)系用下圖表示：根據(jù)上述條件，I（xi）與P（xi）用下式表達(dá)：I（xi）代表兩種含義：

A.當(dāng)事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；B.當(dāng)事件xi發(fā)生以前，表示事件xi所含有的信息量。信息量單位取決于所取對數(shù)之底：以2為底，信息量單位為比特（bit），以e為底，信息量單位為奈特（nat），以10為底，信息量單位為哈特（Hart）。一般采用以2為底的對數(shù)，當(dāng)P（xi）=1/2，I（xi）=1比特。

熵---新的顯世界惜觀地球叔是一蕉個封現(xiàn)閉系乞統(tǒng)，庸其能劫源、壤資源碌和容歇積有羽限，然人類偉會的判發(fā)展魂增長譽(yù)必然培有一插個極傲限。熱力井學(xué)定于律熵的妹概念躍是從婆熱力仁學(xué)引交導(dǎo)出銀來的城。熱力披學(xué)第0定律尤：溫度柔與熱豪平衡。17牲09年荷廊蘭G。D。Fa閥hr綢en易he蕉it建立競?cè)A氏視溫標(biāo)倡，17鴉42年瑞協(xié)典天陶文學(xué)方家A。Ce富ls片iu它s建立順攝氏彎溫標(biāo)沒，熱力看學(xué)第堡一定趴律(能量區(qū)守恒黨定律)：能尺量是圍守恒的、穗不滅梨的，闖只能蠢從一紐奉種形獻(xiàn)式轉(zhuǎn)稍變成使另一佩種形京式。亞從而乞否認(rèn)膚了第覺一類喂“永鐘動機(jī)臉”。臺物理嶼學(xué)家棟焦耳拳經(jīng)30年的缺研究查，于18賄48年提遠(yuǎn)出。熱力教學(xué)定譽(yù)律熱力足學(xué)第浴二定妨律（熵增蓋加原勵理）胳：研究糞熱效份率，騙否認(rèn)粥了第手二類銳“永錦動機(jī)勵”（滋即認(rèn)影為能蒜量是旺取之償不竭丙的）欣。18蟲50年科借學(xué)家覺克勞鑼休斯/1將85勻1年科伸學(xué)家鑼開爾條芬提探出。熱力角學(xué)第羨三定解律：絕對罰溫度0K不可拉達(dá)定規(guī)理，即票稱能斯氣脫定貍理。19菠06年科隙學(xué)家沖能斯勁脫提蠻出。駕如果廉一個棕系統(tǒng)堵的溫付度趨池近于店絕對留溫度0K時，講其熵趨肅于0，且囑不隨在時間威而變槳化，他即有至：實(shí)驗(yàn)賊證明膝：是碰不能幅達(dá)到葉的，退因此繡，上分式也趣不可脹能實(shí)秘現(xiàn)。熵（En套tr普op廣y）熵的咸定義暴：在一持個熱夾力體燥系中劫，熱常能的敞利用未是與奮環(huán)境贊溫度遭有關(guān)剃的。漫蒸汽泛雖然拍有熱吉能，瘋但如伍果周矮圍的趕環(huán)境識溫度穩(wěn)與蒸懸汽一準(zhǔn)樣，奧則蒸嬌汽的屑熱能鏡就無嗚法利堪用。窮如果鉗周圍糟溫度災(zāi)略為澆降低貨，則疲一部稈分蒸塔汽的唐熱能介就可電變?yōu)樘锕Γ慷耘Ｓ幸涣R部分跡不能貍利用把。不巨論在晝?nèi)魏渭谉崃η煮w系常中，用這種愁不能館利用皇的熱創(chuàng)能可誼以用比熱能牌除以筑溫度挨所得授的商驢來量宣度它益，這謊個商騾就定咽義為熵。熵的某特性物理套學(xué)家R.待Cl眾au頭si桐us提出廢了熱倆熵的磚概念稈，它芝是熱卻系統(tǒng)克的一股個狀殿態(tài)函乏數(shù)，批反映熄狀態(tài)耀的多紫樣性撈和不情可期監(jiān)望性質(zhì)的程任度。在熱塊力學(xué)起中，送“熵晌是能償量轉(zhuǎn)陽變?yōu)楸杏霉使Φ捻撃芰繐?jù)多少易的量很度”根據(jù)湊物理念學(xué)原爺理，壓自然滿界具狂有三顯種平恨衡：力學(xué)次平衡熱平拍衡化學(xué)災(zāi)平衡一個腿系統(tǒng)您愈接寫近平際衡，繳則可敗用于就作功淚的能稼量就肢愈少紹。因悶此，必一個怖系統(tǒng)推的熵辛愈大況，不粘能作院功的確能量水就愈戶多，始能量睡的品宵質(zhì)就羅愈差稈。熵的掠特性能量墾只能徑不可溫逆轉(zhuǎn)刊地沿義著一奏個方畝向轉(zhuǎn)呀化，防即從幣對人接類來玻說是岡可利顛用的貢到不零可利秋用的拼狀態(tài)朽，從舊有效料的到炕無效膠的狀染態(tài)轉(zhuǎn)削化。電用加爾遲文的話陳說：賄這種屈無效攔能量棵已從結(jié)人們碎那里身不可芬挽回酸地失館去了糧，盡綿管它益并沒洋有消丸滅。熵就是爸這種閃不能綠再被獲轉(zhuǎn)化較作功毫的能殘量的曠總和篩，即熵是無秘效能轉(zhuǎn)量（涂無序辰狀態(tài)答）的帥總和宵，熵的增膝加就噴意味夜著有震效能夸量的倦減少罷。在一啟個封殿閉的乞系統(tǒng)悄里，表所有舍能量傳是從節(jié)有序稍狀態(tài)普到無讀序狀免態(tài)轉(zhuǎn)馬化，排物質(zhì)啦的熵最終妻將達(dá)意到最堡大值脊。當(dāng)熵處于屢最小走值時部，能價量集鈔中程勵度最錦高，蜻有效遼能量童最大惡，系悅統(tǒng)處扁于最具有序偽狀態(tài)您；反遍之，熵為最恒大時梨，有逢效能壘量完醋全耗狡盡，擱也就援是混亡亂度項(xiàng)最大般的狀春態(tài)。澇所以五熱力舉學(xué)第甲二定都律也勾稱之憐為熵定律瓶。熵定酬律是拴自然矛界一走切定羅律中欺的最秧高定玩律。熱寂旁學(xué)說墨與大撐爆炸--地球恢的起炸源與遞毀滅熵定律臟不僅教適于份地球蒜，也吊適于里整個刻宇宙減。這往與赫爾智姆霍姥茨的熱寂悲學(xué)說是一伙致的圍。他認(rèn)些為整妙個宇監(jiān)宙是款一個準(zhǔn)密集埋能源條的大豬爆炸夢開始密的。躺當(dāng)這程個稠帳密能末源向須外膨常脹時餅，它蛙的膨攏脹速休度逐項(xiàng)漸減益慢，納從而墊形成救了銀嶼河系握、恒鹿星、元行星箱和地悔球。能源煌也漸灘漸失兄去原藍(lán)來的栗次序衣，最集后達(dá)妙到最豬大熵惠，即熱寂的最識終熱凍平衡疏狀態(tài)紀(jì)，一潮切能效量差標(biāo)別趨簡于零效，所美有能亦量已隔消耗枕一空輔，處歐于永諸恒的學(xué)死寂疾。大爆慶炸學(xué)撫說與熵定律倚是一嚇致的鏈。熵與霉時間熵是軟時光久之箭，熵定絡(luò)律與畝時間的概低念也非是一府致的桌：熵不能煙減少被，時勵間也煩不能乏倒流池。時窮間推座延的神過程坦就是替熵增立加的盼過程襪，我嫌們無午法逆辱轉(zhuǎn)時大間和互熵的贈過程存，熵判定律遞展示籃了時集間的尼方向符。人們歷的意幕識與字時間制、生棵命和摩熵是衣緊密難聯(lián)系亞的。宇宙崇達(dá)到主熱寂皺的平劑衡狀街態(tài)，呢任何鳴事情拒也不社會發(fā)聯(lián)生，凍時間璃也就圓不復(fù)儲存在循了。熵與孩生命有機(jī)吹體的和生長吼都伴擇隨宇億宙總講熵的編遞增辨。科學(xué)秒家們勢認(rèn)識己到收寇集信刃息和棚儲存碼知識靈都要碧花費(fèi)瓜能量孝，因恥此也技是熵般增加況的過欲程。饒從本刻能、降直覺附、理舟智到蟻抽象噸思維反，人胡類思厭想都匪愈來話愈復(fù)奧雜、墳集中我、抽丑象。獎而且捎信息亮越多碑，反滑而更芬加糊搬涂。累心理譽(yù)學(xué)家救稱之括為“蓄信息薄超載雷”。事實(shí)閥上能辰源和諸物資胸是一鼻項(xiàng)資火本，創(chuàng)它不比是人鞏們生膨產(chǎn)出菊來的滿，而犁是地榨球所壤賦予惡的，亦是不控可替充代的穗有限籃資本悔。因圓此，俯世界支非再咐生能損源和報物資詢的消員耗正灶在使熵提高敵到一挽個危霜險的嗽水平蛙。信息槳熵發(fā)扔展歷逃程信息故論的余創(chuàng)始慌人香群農(nóng)（C.畏E.稍Sh馳an糟no微m）19談48年發(fā)孕表的閣“通史信的企數(shù)學(xué)愧理論登”中揀提出昆信息醉論并考提出汽信息基熵(e柔nt缺ro播py供)—香農(nóng)鑄熵和秩互信格息（mu狂ty律alin瓶fo府rm狠at枕io坦n）的概孟念，宏奠定扛了信弊息論英基礎(chǔ)饑。具有困劃時精代意政義。漢明紐奉（R.均W.愛Ha刪mm膨in曾g）提出勝：信恐息論--悶--新--信道你編碼皇構(gòu)造角理論E.洲T.儉Ja涼yn爬es19桂57年提圈出最葵大熵爹原理S.粒K.帥Ku奏l(xiāng)l叮ba圾ck19數(shù)59年提女出并軋為J.音S.廁Sh賄or商e等人19筒80年發(fā)允展的詠鑒別婚信息冊及最恢小鑒補(bǔ)別信敵息(d綁is無cr隊(duì)im相in拒at曉io務(wù)n塌in延fo抓rm萍at丈io艦n)原理孤理論信息蕩熵發(fā)渣展歷它程蘇聯(lián)煤學(xué)者A.認(rèn)N.鄰Ko協(xié)lm刮og售or王ov19歐58年指狐出“著熵”艦相等汁是動濾力系軟統(tǒng)同們構(gòu)的駝必要鋤條件旦，開惹辟了渡遍歷牙理論寧，即朽動力望系統(tǒng)養(yǎng)的熵愿及其膚在同某構(gòu)中虧的應(yīng)崖用。竄并提估出ε熵，作解決講了連掘續(xù)變尤量下嬸熵的靜定義膝問題沉。19歸65年提燈出信尤息量暈度定怨義的旬三種椅方法泡：概掛率法丘，組滿合法挽，計(jì)們算法19裝68年提孟出算舞法信盛息理肌論Re摩ny插i19盆61年提此出α熵概苗念J.圈Ha黑vr財(cái)da19幫67年提伙出β熵概雖念S.艘Ar細(xì)im阻ot擦o19裝71年提叼出γ熵概鳳念S.通Gu饅ia次su19雹77年提茄出加鎖權(quán)熵嗚概念C.舟Fe哥rr猾er盆i19蟻80年提黨出次鞏熵E.農(nóng)T.你Ja荷yn偷es19頌57年提果出的申最大爪熵原悶理是株信號隨處理縮慧的一揭個重秩要方油法。使最大器熵譜非估計(jì)湖標(biāo)志絲式著熵扮已開蕉始取棵代其貿(mào)它信捧號處朵理方誤法。20世紀(jì)80年代灶又提口出交蠢叉熵浩的概烘念，蟻用于毀信號賠處理浙。信息文熵發(fā)笛展歷夾程信息乒量度盞已系倒統(tǒng)地禿發(fā)展狹成為逃信息公處理謊的一妨種準(zhǔn)濱則，渡并在信軍息技袖術(shù)領(lǐng)輛域逐束步取質(zhì)代功誘率的然最小樣均方釣誤差撐準(zhǔn)則扁。信票息論魯已成萬為信稿號與尊信息惠處理宮的基成本理進(jìn)論。信息哥論已頸廣泛齡應(yīng)用黑于各扯科學(xué)禍領(lǐng)域敢，測如試領(lǐng)翠域也您不例擦外。信息隙熵的宗計(jì)算Sh掩an利no南n定義豪自信枯息的晶數(shù)學(xué)戚期望繳為信技息熵死，即禁信源照的平閱均信六息量熵的引單位流是[b販it企/事件]。不同劃信源再，其旋統(tǒng)計(jì)院特性仁不同踢，熵墊也不脅同。信息光熵分路別為戀：信息任熵的西特性浮（性怨質(zhì)）助：⒈對稱姻性當(dāng)概屋率空勤間P（x1），P（x2）…順序孝任意爹互換賄時，嚷熵函以數(shù)值爸不變竊。⒉確定蘇性如果丸信源柜的輸枕出只處有一凈個狀碧態(tài)是姑必然求的，尸即P（x1）=1，P（x2）=膝P（x3）=…勿=0，則信栽源的平熵⒊非負(fù)拉性即H（X）≥0因?yàn)檠剑?<蠻P（xi）<1，所取授對數(shù)收的底系大于1，lo沒g耽P（xi）<0，-P（xi）lo倘g評P（xi）>0，即熵豪為正枯值。⒋壤可加主性統(tǒng)計(jì)貪獨(dú)立徒信號寬源X和Y的聯(lián)呆合信想號源普的熵丙等于耕它們謀各自喉的熵搞之和兼。⒌極值端性信號哄源各唐個狀菌態(tài)為乞等概肆率分父部時斯，熵能值最舌大，左并等唐于信住源輸送出符編號（經(jīng)狀態(tài)零）數(shù)澤。即連續(xù)往信源松及最澡大熵右定理連續(xù)很信源即的數(shù)雨學(xué)模普型為垃連續(xù)抗型的善概率界空間岔。P（x）是隨驗(yàn)機(jī)變雖量x的概脈率密圾度函葵數(shù)。連續(xù)眾信源蟲的熵寶為：該熵抹又稱城為相堡對熵具或差贊熵。最大跡熵定吵理在連些續(xù)信雄源中持，當(dāng)次各約行束條朋件不月同時貫，信峽源的喉最大慕相對份熵值朱不同捏。峰值賢功率賢受限蓬條件倘下信密源的輸最大上熵概率妨密度平均否功率祖受限條條件盡下信笛源的兩最大厭熵若一將個信莖源輸宿出的棟平均社功率野有限付，則嘩其輸犯出信存號的童概率甘密度商分布爭是高懲斯分另布時仍，信犬源有筐最大寺熵。一維淚隨機(jī)策變量x的概沿率密批度分唯布為叼：M是x的均榨值，σ2是x的方度差。揀該連怨續(xù)信俱源的彩熵正態(tài)甲分布需的連脹續(xù)信牧源的筐熵與同數(shù)學(xué)無期望m無關(guān)犁，只形與方疑差σ2有關(guān)掀。N維：式中發(fā)：信息譜與熵傲的守枯恒定宮律熵描冒述了釘系統(tǒng)叼的不健確定犯性程多度，夕而信的息則冷是消染除了公系統(tǒng)故不確弱定性損而得葉到的鄙東西水。一個詠體系舍的信璃息與譯熵的蛛和保嬌持恒鐵定，罪并等味于該習(xí)體系業(yè)在給回定條腿件下姿所能崖達(dá)到瞎的最柔多信脈息或謹(jǐn)最大透熵。數(shù)學(xué)僵表達(dá)邁式為:式中皆：I——對系壘統(tǒng)觀兆測后狠所獲公得的層信息殼；Hma茄x——系統(tǒng)狐的原傾始熵久；H——觀測偷以后芹系統(tǒng)梁仍具翼有不巖確定護(hù)性所梨具有植的熵義。測量險信息摩論原雞理測量葡的目塞的是擠為了撫獲得闖被測招對象簽的信頑息，稍確定洞被測沈量的譜量值野。因鏈此，秩測量恐系統(tǒng)凱也就律是一軍個信仰息系箏統(tǒng)。野從信魯息的坦角度說來看悠，測乳量系蠻統(tǒng)的劫作用翠是傳戒輸信奧息，溜以消坐除觀夸察者距對被欲測量話的不通確定瞇性；關(guān)于雙測量翁誤差曬的分謎析與批處理騎，在鐵前面丑我們愛是以姥概率象論為形基礎(chǔ)耀進(jìn)行旬的。曾然而釋，信瓶息的白概念裂比概度率更接為基獻(xiàn)本，百信息萬方法羅比傳產(chǎn)統(tǒng)數(shù)爐理統(tǒng)遵計(jì)方暫法的餅應(yīng)用見更為顆廣泛網(wǎng)。尤狀其在犧誤差況概率帳估計(jì)宅、數(shù)笑據(jù)處得理和鼠參數(shù)呼估計(jì)桐等分京析中飼，測叢量信沃息論牧具有估更強(qiáng)腳的能啄力。用測逮量信燃息論共來處邁理測抵量誤管差，歡主要努研究驗(yàn)以下癥問題系：測釀量信則息系裁統(tǒng)的截模型窄；測腹量信匙息的命量度豆；最鍋大信禁息熵支原理杜及其披誤差杜概率個估計(jì)嫁；利賀用誤矛差熵響來計(jì)手算測澇量不矩確定五度等預(yù)。測試叮系統(tǒng)扇的基毅本模沙型系統(tǒng)輝的輸美入是彼被測攀量A，輸出潔是經(jīng)判測量借系統(tǒng)將所得均的測箏量值X。信息典測量死的過箱程信息咱測量普的過膏程就漆是將額被測沸信息憑從無蟻限多江個物羅理復(fù)迫雜過銀程的陷集合碌中分拔離出言來的犯過程敬。因較此，屑必須吊去除澡多余榮信息督：初始刊信息哭形成喉，全房誠部物午理信靜息；草（物理馳連接）信息天結(jié)構(gòu)導(dǎo)綜合鋪，濾趣除無梁關(guān)物招理信削息；射（傳感糾器）信息斷語義率綜合蜂，提倆取有摘價值瓶的信稼息，膨?qū)崿F(xiàn)缸信息陵測量考；（測量寇原理）信息寸統(tǒng)計(jì)邪綜合調(diào)，利增用信卸息隨喂機(jī)特繪性的雖計(jì)算錄，減祖少信謙息的菜隨機(jī)清誤差被；（信息舉熵）信息亦密度爹逐漸滑減少條件遼熵由于炭被測站量A是離蝕散隨究機(jī)變雄量，甘所以序，測隆量值X也是擾隨機(jī)謎變量遙：x1暗,x兄2,礎(chǔ)…xn。由于曬任何眠一次申測量貝都會慶有測膏量誤倦差，給即測亭量的時不確繭定性罷，因既此，卵測量愚到一再個測懇量值接后，傻被測叛量值弱與測選量值蹤蝶兩個婆隨機(jī)拼變量邊之間鴨的不化確定將性，啞可用飼條件衰熵來推表示難：條件呆熵表鹿示兩粗個隨籌機(jī)變朽量之集間的紋統(tǒng)計(jì)毀依賴歷關(guān)系料，即H（A/致X）表示誤已知X時，A的不框確定腫性；H（X/呆A）表示眼已知A時，X的不速確定陜性。測量消信息米量測量姥信息業(yè)量等駕于測磨量A的信萬息熵H（A）減去價條件涉熵H（A/漫X），它等漢于從億測量述值X中提著取的刃關(guān)于舟被測返量A的信市息量孩，故喊測量鄙信息鏟量可格表示梢為：如果痕沒有對測量炭誤差書，測情量值涌就等拒于被漏測值嫂，即P（a1遼/x末1）=1，也就蠢是H（A/夏X）=0，所以辱，測開量信鉆息量供就為艇：即表雅示測躍量可摩以獲春得被匆測量植值的芬全部逐信息樣。