1、2021-12-22第一次課1課程概述信息論與編碼以概率論概率論與隨機過程隨機過程為主要數學工具，用一系列具體的符號(碼)來表示抽象的信息，研究信息在存儲和傳遞過程中具有高效性高效性和可靠性可靠性這兩大核心問題。本課程包括信息論基礎和編碼兩大部分。2021-12-22第一次課2學習方法學習時把注意力集中到概念的理解上，不過分追求數學細節的推導。注意理解各個概念的“用處”，結合其他課程理解它的意義，而不要把它當作數學課來學習，提倡獨立思考，注重思考在學習中的重要性。2021-12-22第一次課3第一章 緒論o1.1 信息的概念、性質及度量o1.2 信息論研究的對象、目的和內容o1.3 信息論的形

2、成與發展2021-12-22第一次課41.1.1 信息的重要性o人類的生存與發展離不開信息n結繩記事結繩記事,契契(q)刻記事刻記事：最初期n烽火告警、狼煙、擂鼓傳信、飛鴿傳書烽火告警、狼煙、擂鼓傳信、飛鴿傳書o最早、快速、遠距離n語言和文字語言和文字：最根本的工具o造紙術和印刷術使文字成為信息傳遞有效工具n郵政通信郵政通信n電報、電話和電視電報、電話和電視o快速、便利、遠距離n網絡、手機網絡、手機 什么是信息？消息？2021-12-22第一次課51.1.2 信息的定義（一）o不同學科,從不同角度對信息這個概念有不同解釋n新聞界,信息信息被普遍認為是對事物運動狀態的陳述是對事物運動狀態的陳述,

3、是物與物、物與人、人與人之間的特征傳輸.而新聞則是信息的一種,是具有新聞價值的信息，如東航“返航事件”.n哲學家從產生信息的客體來定義,認為信息是事物本質、特征、信息是事物本質、特征、運動規律的反映運動規律的反映.不同事物有不同本質、特征、運動規律,人們就是通過事物發出的信息來認識該事物,或區別于其它事物.n圖書館學和情報學領域,信息定義為事物或記錄信息定義為事物或記錄.美國學者巴克蘭德(Buckland)認為, 許多事物都可以是信息, 如文本、圖片、錄音磁帶、博物館陳列品、自然物體、實驗、事件等。但這一定義過于寬泛,未能將信息、信息載體和信息資源區分開來. 2021-12-22第一次課61.

4、1.2 信息的定義（二）o控制論專家維納維納(Wiener,右圖)的信息概念是從信息傳遞過程中,客體和接收主體之間相互作用定義的.他說,”信息既不是物質,又不是能量,信息就是信息.”o根據維納的說法,信息和物質、能量既有聯系又有區別n物質世界三大基礎：世界由物質組成,能量是物質運動的動力,信息是人類了解自然及人類社會的憑據;n獨立性：信息不遵循質量守恒定律,其性質和內容與物質載體的變換無關;信息也不服從能量守恒定律,信息可以共享而能量不能共享.n依存關系：能量和信息源于物質;信息要以物質為基礎,也離不開能量;物質運動的狀態和方式需要信息來表現和描述,能量的轉換與駕馭也同樣離不開信息.2021-

5、12-22第一次課71.1.2 信息的定義（三）o1988年,鐘義信在信息科學原理中認為,信息是事物運動的狀態與方式信息是事物運動的狀態與方式，是物質的一種屬性。n“事物事物”泛指一切可能的研究對象,包括外部世界的物質客體,也包括主觀世界的精神現象;n“運動運動”泛指一切意義上的變化,包括機械運動、化學運動、思維運動和社會運動;n“運動方式運動方式”是指事物運動在時間上所呈現的過程和規律;n“運動狀態運動狀態”則是事物運動在空間上所展示的形狀與態勢. 2021-12-22第一次課81.1.2 香農信息的定義o克勞德克勞德艾爾伍德艾爾伍德香農香農是美國數學家、信息論的創始人。密西根大學學士，麻省

6、理工學院博士。o香農在1948年發表了一篇著名的論文，通信的數學理通信的數學理論論。他從研究通信系統傳輸的實質出發，對信息做了科學的定義，并進行了定性和定量的分析。 克勞德克勞德艾爾伍德艾爾伍德香農香農 (Claude Elwood Shannon, 1916-2001)2021-12-22第一次課91.1.2 香農信息的定義o香農將各種通信系統概括成如下框圖：2021-12-22第一次課101.1.2 香農信息的定義o消息傳遞過程的特點：收信者在收到消息以收信者在收到消息以前是不知道消息的具體內容的前是不知道消息的具體內容的。n1) 收信者存在著“不知”、“不確定”或“疑問”；o收到消息以前

7、，收信者在是不知道消息的具體內容。o即使收到消息，由于干擾的存在，收信者也不能判定所得到的消息是否正確和可靠。n2) 通過消息的傳遞，收信者知道了消息的具體內容，消除或部分消除了原先的“不知”、“不確定”和“疑問”。2021-12-22第一次課111.1.2 香農信息的定義2021-12-22第一次課121.1.2 香農信息的定義o因此，對收信者來說，消息的傳遞過程是n從不知到知的過程；n或是從知之甚少到知之甚多的過程；n或是從不確定到部分確定或全部確定的過程。o如果不具備這樣一個特點，那就根本不需要通信系統了。 2021-12-22第一次課131.1.2 香農信息的定義o所以，通信過程是一種

8、消除不確定性的過程通信過程是一種消除不確定性的過程。n不確定性的消除，就獲得了一部分信息。n不確定性消除得越多，獲得的信息就越多。n不確定性全部消除了，就獲得了全部的信息；n若消除了部分不確定性，就獲得了部分信息；n若不確定性沒有任何消除，就沒有獲得任何信息。o由此可見，信息是事物運動狀態或存在方式的信息是事物運動狀態或存在方式的不確定性不確定性的描述的描述。這就是香農信息的定義香農信息的定義。2021-12-22第一次課141.1.3 信息與消息的關系o1、消息消息：表達客觀物質運動和主觀思維活動的狀態, 如文字、語言、圖像等.o2、信息與消息的關系：信息與消息的關系：n形式上傳輸消息，實質

9、上傳輸信息。n消息具體，信息抽象。n消息是表達信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來載荷。n消息可能包含豐富的信息，也可能包含很少的信息。2021-12-22第一次課151.1.4 信息與信號的關系o1、信號：n把消息變換成適合信道傳輸的物理量，如光信號、電信號、聲信號和生物信號等。 o2、信息與信號的關系：n信號攜帶著消息，它是消息的運載工具。 n信號是消息的表現形式，消息是信號的具體內容。2021-12-22第一次課161.1.5 香農信息的度量o根據香農的有關信息的定義，信息如何度量？o當人們收到一封電報，或聽了廣播，或看了電視，到底得到了多少信息量呢？o信息能否度量

10、？信息能否度量？信息量與不確定性消除的程度有關。那么，不確定性的大小能度量嗎？o數學工具數學工具：數學上，不確定性就是隨機性，具有不確定性的事件就是隨機事件。因此可用概率論和隨概率論和隨機過程機過程來測度不確定性的大小。o從直觀概念來講，不確定性的大小可以直觀地看成是事先猜測某隨機事件是否發生的難易程度。2021-12-22第一次課171.1.5 香農信息的度量 而乙袋中取出紅球的概率小，不確定性大，故信息量大。從這個例子可以得出：不確定性的大小與可能發生的消息數目及各消息發生的概率有關。舉例說明不確定性的大小，如右圖甲袋中取出紅球的概率大，不確定性小，因此信息量小；2021-12-22第一次

11、課181.1.5 香農信息的度量o信息能否度量？信息能否度量？信息量與不確定性消除的程度有關。那么，不確定性的大小能度量嗎？n回答：某一事物狀態的不確定性的大小，與該事物可能出現的不同狀態數目以及各種狀態出現的概率大小有關。因此，不確定性的大小能夠度量?？梢?，信息也是可以測度的。2021-12-22第一次課191.1.3 信息的基本性質o1、信息是無形的、信息是無形的n不同于物質與能量，看不見、摸不著，不具有實體性o2、信息是可共享的、信息是可共享的n2.1 信息共享是無限的，甲乙丙n2.2 信息共享的積極作用，加速人類社會的文明進程n2.3 信息共享的安全性o3、信息是無限的、信息是無限的n

12、3.1 資源,取之不盡、用之不竭的n3.2 時空上的可擴展性，如天氣預報信息o4、信息是可量度的，質量和數量、信息是可量度的，質量和數量2021-12-22第一次課201.1.6 香農信息的度量（一）o1、樣本空間樣本空間Xn某事物所有可能出現的不同狀態(或不同消息)的集合。 o2、概率測度概率測度Pn對于每個可能選擇的消息指定一個概率。o3、消息概率空間消息概率空間X,P：消息的樣本空間X和它的概率測度P。離散情況下概率空間為1212( )( )()( )qqaaaXp ap ap ap x2021-12-22第一次課211.1.6 信息的度量（二）o4、自信息自信息：接收端對發送端是否發送

13、消息ai的不確定性, 即o5、條件自信息條件自信息：接收端收到bj 后, 對發送端是否發送消息ai 尚存在的不確定性, 即o6、互信息互信息：收信者獲得的信息量, 接收端收到消息bj 后,已經消除的不確定性, 即 1( )log( )iiI aP a11( ;)loglog( )(|)ijiijI a bP aP a b1(|)log(|)ijijI a bP a b2021-12-22第一次課221.1.7 香農概率信息定義的優劣o優點：n定義科學，有明確的數學模型；n與日常用語中信息的含意是一致的；n排除了日常用語中對信息的主觀含意。o局限性：n實際存在的某些事物運動狀態很難找到一個合適的

14、概率模型(以經典集合論為基礎)；n沒有考慮收信者的主觀特性和主觀意義；n撇開了事物本身的具體含意、具體用途、重要程度和引起的后果等因素。2021-12-22第一次課23第一章 緒論o1.1 信息的概念、性質及度量o1.2 信息論研究的對象、目的和內容o1.3 信息論的形成與發展2021-12-22第一次課241.2.1 研究對象：通信系統o各種通信系統盡管形式和用途不同都是信息傳輸系統；o為便于研究信息傳輸和處理的共同規律，將各種通信系統抽象成一個統一的理論模型，如圖1.1.信源編碼加密信道編碼信道信道解碼解密信源譯碼信宿密鑰源噪聲源密鑰源信源 圖 1.1 通信系統模型 2021-12-22第

15、一次課251.2.1 研究對象：通信系統通信系統模型主要分成以下五部分：通信系統模型主要分成以下五部分：o1、信、信 源源：產生消息和消息序列的源。n它可以是人、生物、機器或其他事物，人的大腦思維活動也是一種信源；n信源發出的消息有語音、圖像、文字等；n信源的輸出是消息，消息是具體的，但它不是信息本身。n它是事物各種運動狀態或存在狀態的集合，可能出現的狀態(即信源輸出的消息)是隨機的、不確定的，但又有一定的規律性。2021-12-22第一次課261.2.1 研究對象：通信系統o2、編碼器、編碼器：將信源發出的消息變換成適合信道傳送的信號的設備，包括以下三個部分：n信源編碼信源編碼，為了提高信息

16、傳輸的效率對信源輸出的消息進行適當的變換和處理，把信息變換成信號，又稱信源壓縮編碼信源壓縮編碼；n信道編碼信道編碼，是為了提高信息傳輸的可靠性而對消息進行的變換和處理，又稱信道糾錯編碼信道糾錯編碼，如奇偶監督碼、重復碼、線性分組碼等；n保密編碼保密編碼，是為保證信息的安全性和證實性。2021-12-22第一次課27o電報常用的莫爾斯碼就是按信息論的基本編碼原則設計出來的；o在一些商品上面有一張由粗細條紋組成的標簽，從這張標簽可以得知該商品的生產廠家、生產日期和價格等信息，這些標簽是利用條形碼設計出來的，非常方便，非常有用，應用越來越普遍；o計算機的運算速度很高，要保證它幾乎不出差錯，相當于要求

17、有100年的時間內不得有一秒鐘的誤差，這就需要利用糾錯碼來自動地及時地糾正所發生的錯誤；o每出版一本書，都給定一個國際標準書號(ISBN)，大大方便圖書的銷售、編目和收藏工作。2021-12-22第一次課281.2.1 研究對象：通信系統o3、信、信 道道：通信系統中把載荷消息的信號從甲地傳輸到乙地的媒介或通道。n實際信道有明線、電纜、波導、光纖、無線電波傳播空間等傳輸電磁波能量的信道；n信道除傳送信號以外，還有存儲信號的作用，如磁帶、光盤或書寫通信方式；n在信道中還存在噪聲和干擾。為分析方便，把干擾和噪聲都等效地折合成信道干擾，看成是由噪聲源產生。由于干擾或噪聲往往具有隨機性，所以信道特性可

18、用概率空間描述。2021-12-22第一次課291.2.1 研究對象：通信系統o4、譯、譯 碼碼：就是把信道輸出的編碼信號（已迭加了干擾）進行反變換，一般認為這種變換是可逆的。n從受干擾的信號中最大限度地提取出信源輸出消息的信息，并盡可能地復現信源的輸出。譯碼器也分成三種：o信源譯碼器；o信道譯碼器；o解密譯碼器。 2021-12-22第一次課301.2.1 研究對象：通信系統o5、信、信 宿宿：是消息傳送過程中的接收者，即接收消息的人或機器。2021-12-22第一次課311.2.2 研究目的o研究概括性強的通信系統，其目的：要找到信息傳輸過程的共同規律，以提高信息傳輸的可靠性、有效性、保密

19、性和認證性，使達到信息傳輸系統最優化。n可靠性可靠性：盡可能不失真地再現信源發出的消息；n有效性有效性：用更短的時間和更少的設備來傳送信息，與可靠性易發生矛盾，需要統籌兼顧；n保密性保密性：傳送的消息只被預定的接收者獲?。籲認證性認證性：正確判斷所接收消息是預定發送者發送的。2021-12-22第一次課321.2.2 研究目的o根據信息傳輸的要求不同，信息傳輸系統根據信息傳輸的要求不同，信息傳輸系統模型不是不變的。模型不是不變的。n研究可靠性研究可靠性，把信源、信源編碼和加密編碼等效成一個信源，而將信宿、信源譯碼和解密譯碼等效成一信宿；n研究有效性研究有效性，只考慮信源與信宿之間的信源編(譯)

20、碼，將其他部分看成無干擾信源；n研究保密性和認證性研究保密性和認證性，將信源和信源編碼等效成一信源；將信道編碼、信道、噪聲源和信道譯碼等效成一無干擾信道；而將信源譯碼和信宿等效為一信宿。2021-12-22第一次課331.2.3 研究內容信息論研究的是關于這個通信系統的最根信息論研究的是關于這個通信系統的最根本、最本質的問題。本、最本質的問題。例如：例如： 什么是信息？如何度量信息？ 怎樣確定信源中含有多少信息量？ 對于一個信道，它傳輸信息量的最高極限(信道容量)是多少？2021-12-22第一次課341.2.3 研究內容 為了能夠無失真的傳輸信源信息，對信源編碼時所需的最少的碼符號數是多少？

21、(無失真信無失真信源編碼即源編碼即香農第香農第一一定理定理) 在有噪信道中有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯誤概率幾乎為零？(有有噪信道編碼即香農第噪信道編碼即香農第二二定理定理) 如果對信源編碼時允許一定量的失真，所需的最少的碼符號數又是多少？(限失真信源編碼限失真信源編碼即香農第即香農第三三定理定理)2021-12-22第一次課351.2.3 研究內容o信息論研究內容的三種理解：n1、狹義信息論oA. 信息的測度B. 信道容量oC. 信源和信道編碼理論n2、一般信息論。主要也是研究信息傳輸和處理問題。oA. 香農理論B. 噪聲理論oC. 信號濾波和預測D. 統計檢測與估計理論

22、oE. 調制理論 F. 信息處理理論n3、廣義信息論。除了上述兩個方面內容，還包括所有與信息有關的領域，如oA. 模式識別B. 計算機翻譯C. 心理學oD. 遺傳學E. 神經生理學 F. 語言學oG. 語義學2021-12-22第一次課361.2.3 研究內容 綜上所述，信息論是一門應用概率論、隨機過程、數理統計和近代代數的方法，來研究廣義的信息傳輸、提取和處理系統中一般規律的科學；它的主要目的是提高信息系統的可靠性和有效性，以便達到系統最優化；它的主要內容(或分支)包括香農理論、編碼理論、維納理論、檢測和估計理論、信號設計和處理理論、調制理論、隨機噪聲理論和密碼學理論等。 2021-12-2

23、2第一次課37狹義信息論體系結構Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網絡信息理論糾錯碼編碼調制理論網絡最佳碼2021-12-22第一次課381.2.3 研究內容o除了香農理論以外，后一部分內容是以美國科學家維納(N. Wiener)為代表，其中最有貢獻的是維納和蘇聯科學家柯爾莫哥

24、洛夫(. ?)。維納(1894-1964)柯爾莫哥洛夫(1903-1987)2021-12-22第一次課391.2.3 研究內容o雖然維納和香農等人都是運用概率和統計數學的方法來研究準確地或近視地再現消息的問題，都是為了使消息傳送和接收最優化，但他們之間卻有一個重要的區別，見下表。2021-12-22第一次課401.2.3 研究內容維納理論維納理論香農理論香農理論研究重點研究重點接收端編碼、收發聯合最優化研究對象研究對象 研究信號在傳輸過程中被那些因素干擾研究信號從信源到信宿之間傳輸的全過程研究內容研究內容 在接收端怎樣在干擾中提取、恢復、再現信號在傳輸前、后對消息進行適當的編(譯)碼，就能保

25、證干擾下最佳地傳送和再現消息提出理論提出理論最佳線性濾波理論(維納濾波器)、統計檢測與估計理論、噪聲理論信息測度理論、信道容量理論和編碼理論等2021-12-22第一次課41第一章 緒論o1.1 信息的概念、性質及度量o1.2 信息論研究的對象、目的和內容o1.3 信息論的形成與發展2021-12-22第一次課421.3.1 電信系統的形成與發展o一、有線通信系統一、有線通信系統n1831年英國法拉第法拉第(Faraday)發現電磁感應電磁感應的基本規律。 n1844年美國莫爾斯莫爾斯(Morse)建立起了電報系統電報系統(數據數據)。n1875年蘇格蘭青年亞歷山大.貝爾貝爾(Bell)發明了

26、世界上第一臺電話機電話機(語音語音)。2021-12-22第一次課43o二、無線電通信系統二、無線電通信系統n1864年英國麥克斯韋麥克斯韋(Maxwell)預言了電磁波電磁波的存在.n1888年德國赫茲赫茲(Hertz)用實驗證明了電磁波存在這一預言.n1895年意大利的馬可尼馬可尼(Marconi)發明了無線電通信無線電通信,通信距離近百米.n1901年馬可尼馬可尼成功地進行了跨越大西洋的遠距離無線電通信遠距離無線電通信.n1904年英國工程師弗萊明弗萊明(Fleming)發明了真空二極管真空二極管.o具有更高的性能和靈敏度，大大提高了無線電通信的功能.n1906年美國福雷斯特福雷斯特(F

27、orest)制成了世界上第一只真空三極管真空三極管.o起到放大電信號的作用,大大提高了無線電通信的距離和可靠性.n1925-1927,大功率超高頻電子管發明以后,電視系統電視系統(圖像圖像)建立起來了.n1925年蘇格蘭人貝爾德貝爾德(Baird)和美國人斯福羅金斯福羅金(Zworykin)發明了電視系統（圖像）電視系統（圖像）。前者稱做機械式機械式，后者稱為電子式電子式電視。2021-12-22第一次課44o三、微波通信系統（波長在三、微波通信系統（波長在0.1 mm-1 m）n微波電子管微波電子管是隨著微波波段的開發利用而發展起來的,它的應用領域已擴展到微波中繼通信、衛星通信、地面電視廣播

28、、衛星電視廣播、導航、能量傳輸、工業和民用加熱、科學研究等方面.n五十年代后期發明了量子放大器量子放大器,微波放大的裝置, 這種放大器是噪聲最低的一種微波放大器微波放大器,而且工作穩定、線性度好.2021-12-22第一次課45o四、光纖通信系統（四、光纖通信系統（波長波長在在0.8 m-1.8 m）n世界上第一臺激光器激光器誕生于1960年,我國于1961年研制出第一臺激光器,使人類進入了光纖通信光纖通信的時代.n1966年,英籍華人高錕高錕最先提出用玻璃纖維進行遠距離遠距離激光通信激光通信的設想.n1973年,美國康寧公司制成每千米傳輸損耗只有20分貝的光纖.同年,美國貝爾實驗室研制出能在

29、常溫下連續工作的半導體激光器半導體激光器.這兩項技術突破為光纖通信的實現鋪平了道路.n1976年,美國在芝加哥兩個相距7千米的電話局間首次進行了光纖通信試驗,實現了一根光纖能夠同時容納8000對人通話.2021-12-22第一次課461.3.2 通信理論的發展 o一、信息理論n1885年凱爾文凱爾文(Kelvin)曾經研究過一條電纜的極限傳信率電纜的極限傳信率問題。n1922年卡遜卡遜(Carson)研究了調幅信號頻譜結構，提出了邊帶邊帶概念。n1924年奈奎斯特奈奎斯特(Nyquist)和屈夫繆勒屈夫繆勒(Kpfmller)解釋了信號帶寬和信息率之間的關系信號帶寬和信息率之間的關系。n192

30、8年哈特萊哈特萊(Hartley)提出信息量信息量等于可能消息數的對數。n1936年阿姆斯特朗阿姆斯特朗(Armstrong)提出在傳輸過程中增大帶寬傳輸過程中增大帶寬可以增強抑制干擾的能力可以增強抑制干擾的能力。n1939年，瑞弗瑞弗(Reeve)提出了具有強干擾能力的脈沖調制脈沖調制。上述理論工作的一個主要弱點弱點：是把消息看成是一個確定性的過程確定性的過程，這與許多實際情況不相符合。所依靠的數學工具主要是經典的傅里葉傅里葉分析方法分析方法，這是有局限性的。 2021-12-22第一次課47n1945年萊斯萊斯(Rice)對噪聲噪聲進行了全面研究總結, 抗干擾抗干擾取代了抗失真?？故д?。n

31、1948年香農香農在貝爾系統技術雜志上發表了兩篇有關“通信的數學理論”的文章。o香農第一定理：變長無失真信源編碼定理變長無失真信源編碼定理o香農第二定理：有噪信道編碼定理有噪信道編碼定理n195l年美國IRE成立了信息論組，1955年出版了匯刊。此間，范恩斯坦(Foinstein)等科學家論證和推廣了香農理論。n1959年香農香農發表了“保真度準則下的離散信源編碼定理保真度準則下的離散信源編碼定理(香農第三定理)”，系統地提出了信息率失真理論信息率失真理論。n1961年香農論文“雙路通信信道”開拓了多用戶信息論多用戶信息論研究。2021-12-22第一次課48o二、信號檢測與估計理論n1942年維納維納(Wiener)建立了最少均方誤差準則最少均方誤差準則的維納濾波理論；維納濾波理論；n1943年諾思諾思(North) 提出了最大輸出信噪比準則最大輸出信噪比準則的匹配濾波器理論匹配濾波器理論。n1946年科捷利尼科夫科捷利尼科夫(Kotelnikov)提出了最大后驗概率最大后驗概率準則(或稱最最小錯誤概率小錯誤概率)的理想接收機。n1950年伍德沃德伍德沃德(Woodword)將信息量