1、信息理論與編碼朱仁祥zhurx電子與信息工程學院考核方式考查課（48學時），全部為講課學時總評成績二平時成績占40 % +測驗成績占60%注意事項1、實行請假制度2、保持課堂紀律3、歡迎提出反饋意見4學習方法1= 1=1本課程以概率論為基礎，數學推導較多，學習 時主要把注意力集中到概念的理解上，不過分 追求數學細節的推導。學習時一定要從始至終 注意基本概念的理解，不斷加深概念的把握。 學習時注意理解各個概念的“用處”，結合其 他課程理解它的意義，而不要把它當作數學課 來學習，提倡獨立思考，注重思考在學習中的 重要性。課程概述當今的時代是一個信息的時代，信息處理技術的不斷進步極大的影響了我們的生

2、活，使我們的生活質量得到很大提高。本課程將介紹信息科學的 基礎理論和基本方法，課程將基于一個通訊系統的抽象數學模型進行展開，課程的數學基礎為概率論。整個課程可分為基礎理論和編碼理論兩部分組成第一章緒論11信息論的形成和發展1.2通信系統的模型本章重點信息、消息、信號的聯系與區別通信系統模型及其各部件的功能作用1.1信息論的形成和發展什么叫信息？信息的主要特征是什么？什么叫消息？什么叫信號？什么叫數據？信息、消息、信號三者之間的聯系是什么?、信息的概念1信息從哲學的角度上講，信息是構成物質世界的三大支柱之一，其他兩個是物質和能量。美國安東尼歐廷教授:沒有物質，就什么東西也不存在. 沒有能量，就什

3、么事情也不發生. 沒有信息，就什么東西也無意義.可以說我們生活在信息的海洋之中，沒有信息就沒有 世界，當然也就沒有我們人類社會。人類利用信息利用信 息的歷史非常悠久，而且隨著人類社會的發展而發展。到 了現代，信息的利用已經非常重要，以至于我們當今生活 的社會被稱作信息社會。可見信息的重要。但是有史以來，人們都沒有對信息下過一個確切的定 義。就像對于物質和能量一樣。信息雖無確切定義， 但是卻具有兩個明顯的特征：廣泛性與抽象性。廣泛性客觀世界充滿著信息 人類離不開信息 知識、書本是有用信息的積累抽象性垂奇節臺塞菇藥霄蚤矍蕩常亶轟J證,臂總節1=羯男轉換成能量，而能量又是改造客觀世界的主信息：它依附

4、于物質和能量，但又不同于物質和能 量。沒有信息就不能更好地利用物質和能量，人類 利用信息和知識改造物質，創造新物質，提高能量 利用效率，發現新能量形式。信息也是客觀存在的, 它是人類認識、改造客觀世界的主要動力，是人類 認識客觀世界的更高層次。就狹義而言，在通信中對信息的表達分為三個層次:信號、消息、信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。 如電信號、光信號、生物信號等。消息：（或稱為符號）是信息的數學表達層， 它雖不是一個物理量，但是可以定量地加以 描述，它是具體物理信號的進一步數學抽象。（消息是指包含有信息的語

5、言、文字和圖像等）信息：是指各個事物運動的狀態及狀態變化的方式。人們從來自對周圍世界的觀察得到的數據中獲得信息。信息是抽象的意識或知識，它是看不見、摸不 到的。人腦的思維活動產生的一種想法，當它仍儲 存在腦子中的時候就是一種信息。信息是信號與消息的更高表達層次。三個層次中，信號最具體，信息最抽象。它們三者之間的關系是哲學上的內涵與外延的關系。2.信息的主要特征離來曼款歸辟蠶曲質的運動中產生信息來源于精神世界，但又不局限于精神領域;信息與能量息息相關，但又與能量有本質的區別;信息具有知識的本性，但又比知識的內涵更廣泛;信息可以被主體獲取和利用。(P3)接收者在收到信息之前，對它的內容是不知道的，

6、所以信息 是新知識*新內容；信息是能使認識主體對某一事物的未知性或不確定性減少的 有用知識；信息可以產生，也可以消失，同時信息可以被攜帶.貯存及 處理;信息匾可以量度的，信息量有多少的差別。15信息的基本概念在于它的不確定性,1=何已經確定的事物都不含有信息。例如果你問你的同學“明天是星期幾”， 則答案中含有多少信息量？ 情況一你不知道今天是星期幾 情況二你知道今天是星期一通信過程是一種消除不確定性的過程不確定性的消除，就獲得了信息。例同學對你說”你編碼原理考試通過了”你得到了消息，獲得了信息嗎?3.信息、消息和信號?信息是事物運動狀態或存在方式的不確定性的描述消息是信息的載體，相對具體的概念

7、，如語言，文 字，數字，圖像信號是把消息變換成適合信道傳輸的物理量例收到一封E-mail/北京成功申辦2008年奧運會” 是北京申辦2008年奧運會具體情況的描述（信息） 用中文北京成功申辦2008年奧運會”來表述（消息）中文不能直接在Internet的傳輸信道中傳輸，中文 “二進制碼“適合信道傳輸的物理量（信號），才能 在信道中傳輸在通信系統中形式上傳輸的是消息，但實質上傳輸的是信息什么叫數據?載有信息的可觀測、可傳輸、可存儲及可 處理的信號均稱為數據。214 信息的分類語義信息：事物運動狀態及方式的具體含義, 研究信息的主體含義。語法信息：事物的狀態和狀態改變方式本身。 研究事物運動出現的

8、各種可能狀態和這些狀態 之間的聯系。是抽象的。（各種信息要素出現 的可能性及各要素之間的相互關系）。語用信息：事物運動狀態、方式及其含義對觀 察者的效用，研究信息客觀價值。人們對客觀世界運動規律 和存在狀態的認識結果語乂信I信息運動過程語用信二、信息論的形成和發展信息論的奠基人是誰？信息論的開創文章是什么?編碼理論的開創文章是什么?香農的三大定理是什么?信息論的發展歷史 1924年,-1928年,-1932年, 1946年, 1948年,學理論三奈奎斯特Nyquist提出信息傳輸理論； 哈特萊Hartley提出信息量關系； 莫爾斯Morse發明電報編碼； 柯切尼柯夫提出信號檢測理論； Shan

9、non提出信息論，“通信中的數無失真信源編碼 1948年，香農在通信的數學理論的論文 中，用概率測度和數理統計的方法系統地討論 了通信的基本問題，得出了幾個重要而帶有普 遍意義的結論。香農理論的核心是：在通信系 統中釆用適當的編碼后能夠實現高效率和高可 靠性的信息傳輸，并得出了信源編碼定理和信 道編碼定理。標志著信息論的正式誕生O在前人工作基礎上，用概率統計方法研究通信系統通信系統傳遞的對象信息63O提出：信息爛、信息星 o指出：通信系統的中忑問題噪聲背景下如何有效、可靠地傳遞信息實現的主要方法編碼提岀了無失真信源編碼定理、信道編碼定理。給出了編碼的性能極限O提供了最佳通信系統的理論依據O從數

10、學觀點看一都是最優編碼的存在性定理O從工程觀點看，信道編碼定理不是結構性的O無失真信源編碼定理是結構性的碼的平均長度信源統計特性相匹配無失真信源編碼的方法0 1948年，香農提出香農編碼0 1952年，費諾(Fano)提出費諾編碼0 1952年，霍夫曼(D. A. Huffman)提出霍夫 曼編碼，并證明它是最佳碼有限長度的 分組碼中，平均碼長最短o 1982年，里斯桑內(JRissanen)在多年研究 的基礎上，與蘭登(G. G. Langdon)一起將算術碼(非分組碼)實用化0 1977年，齊弗(J. Ziv)和蘭佩爾(A. Lempel)提出了 LZ算法一一種通用編碼方法限失真信源編碼

11、1959年，香農發表“保真度準則下的離散信源編碼定理”Coding theorems for a discretesource at the fidelity criterionO提出率失真函數和率失真信源編碼定理O貢獻信源編碼的核心，壓縮編碼的理論基礎A連續信源在編成代碼后不可能無失真地復原量化有失真最佳量化問題對于有記憶信源，條件爛必不大于無條件炳解除符號間的相關性可進一步壓縮碼率在研究信源編碼的同時，另外一部分科學家 從事信道編碼(糾錯碼)的研究工作。這一工 作已取得了很大的進展，并已經形成一門獨 立的分支一糾錯碼理論。1950年漢明 (R. W. Hamming)發表的論文檢錯碼 與糾

12、錯碼是開拓編碼理論研究的第一篇論 文。這篇論文主要考慮在大型計算機中如何 糾正所出現的單個錯誤。密碼編碼學是信息安全技術的核心，密碼編碼學 的主要任務是尋求產生安全性高的有效密碼算法 和協議，以滿足對消息進行加密或認證的要求。密碼分析學的主要任務是破譯密碼或偽造認證信 息，實現竊取機密信息或進行詐騙破壞活動。這兩個分支既相互對立又相互依存，正是由于這種對立統一關系，才推動了密碼學自身的發展。香農在1949年發表的保密通信的信息理論論文中，首先用信息論的觀點對信息保密問題作 了全面的論述。由于保密問題的特殊性，直至1976年迪弗 (Diffe)和海爾曼(Hellman)發表了密碼學 的新方向一文

13、，提出了公開密鑰密碼體制后, 保密通信問題才得到廣泛研究。尤其當今，信息的安全和保密問題更加突出和 重要。人們把線性代數、初等數論、矩陣等引 入保密問題的研究，已形成了獨樹一幟的分 支一密碼學理論。1.2通信系統的模型通信系統的模型是什么？各部件的功能作用是什么？通信系統的性能指標有哪些?信息論基礎的重要性:信息論是信息科學和技術的基本理論，信息科 學大廈的地基；1=沒有信息論的基礎，從事通信與信息領域的 研究和創新是不可能的事情；:總之，信息論是高層次信息技術人才必不可少 的基礎知識。一、信息論研究的對象1通信系統本質信息的傳輸系統把接收方不知道的信息及時、可靠、完整、安 全、經濟地傳送給指

14、定的接收方2、通信系統的物理模型圖通信系統的物理模型包括：信源、編碼器、信道、譯碼器、信宿五部分9加密密鑰71T 一 源- 信一竊聽干擾主要實體：信源和信宿信道及干擾源編碼器譯碼部分編碼部分的逆過程包括：信源、信道、信宿三部分等效信源加密密鑰信源信源編碼信道編碼竊聽解密密鑰信道譯碼干擾;等效無干擾信道I信源3、模型中各個部分的作用及 需要研究的核心問題(1) 信源信源是向通信系統提供消息U的人和機器信源輸岀的是以符號形式出現的具體消息， 它羲得信息。信源輸出的消息可歸納為兩類離散消息，例如由字母、文字、數字等符號 組成的符號序列或者單個符號；連續消息，例如話音、圖像、在時間上連續 變化的電參數

15、等。信源的核心問題它包含的信息到底有多少，怎樣將信息定量 地表示出來，即如何確定信息量。(2) 信宿信宿是接收消息V的人和機器信宿的核心問題信宿需要研究的問題是能收到或提取多少信息(3) 信道信號從發端傳到收端的介質，信道是傳遞消息的通道，又是傳送物理信號的設施信道的中心問題主要是它能夠傳送多少信息的問題，即信 道容量的大小(即研究信道的統計特性和傳信能力)狹義信道一信號的傳輸媒質(介)例明線、電纜、波導、光纖、無線電波空間等廣義 信道一除狹義信道外，還包括通信系統某些部分(4) 干擾源是整個通信系統中各個干擾的集中反映，用以 表示消息在信道中傳輸時遭受干擾的情況。包 括衰落，多徑，碼間干擾，

16、非線性失真，加性 噪聲，主要是統計特性對于任何通信系統而言，干擾的性質、大小是 影響系統性能的重要因素。(5) 密鑰源是產生密鑰k的源信源編碼器輸出信號x經過密鑰k的加密運算后,就把明文x變換為密文y（6）編碼器信源編碼器：對信源輸出進行變換，求得有效性如“奧林匹克運動會” “、奧運會”信道編碼器：對信源編碼輸出變換，提高抗干擾性（例）調制器：將信道編碼輸出變成適合信道傳輸的信號（7）譯碼器編碼器的逆變換中心問題是研究各種可實現的解調和譯碼方法說明不是所有的通信系統都釆用這么全面的技術P6,還應包括換能、調制、發射黠普驟舗對刪多對多雙向系統（會議電視）等（豁對二、信息論研究的目的研究通信系統的

17、目的就是要找到信息傳輸過程優化。所謂可靠性高，就是要使信源發出的消息經過 ggg以厚音量噤隹確地、不失真地再現所謂有妨性高，即用辰可能短的時間和盡可能 個傳送符號內攜帶盡可罷多的信息量。（占用資 源少，時間、空間、頻傘等）（重要目標）握高有效性常常會 頁。所謂保密性就是隱蔽和保護通信系統中傳送的1=消息，使它只能被授權接收者獲取，而不能被 未授權者接收和理解。所謂認證性是指接收者能正確判斷所接收的消 息的正確性和完整性，而不是偽造的和被篡改 的。信息論所要解決的問題可靠性有效性保密性認證性研究某一性能時的簡化框圖有效性研究把保密編碼、信道編碼并入信道。可靠性研究把信源編碼、保密編碼并入信源。廣

18、義信源信道編碼信道信道譯碼廣義信宿保密性、認證性研究把信源編碼并入信源，信道編碼并入信道。三、通信系統的性能指標及相應的編碼 問觸通信系統主要性能指標主要是:有效性、可靠性、 安全性和經濟性。通信系統優化就是使這些指標 達到最佳。根據信息論的各種編碼定理和上述通信系統的指 標，編碼問題可分解為三類：信源編碼、信道編 碼和密碼編碼。1、信源編（譯）碼器信源編碼器的作用是把信源發出的消息變換成由二進制碼元（或 多進制碼元）組成的代碼組，這種代碼組就是|=同時通過信源編碼可以壓縮信源的冗余度（即 多余度），以提高通信系統傳輸消息的效率。信源編碼器分為兩類 一類是無失真信源編碼，適用于離散信源或數 字

19、信號；另一類是限失真信源編碼，用于連續信源或模 擬信號，如語音、圖像等信號的數字處理。信源編碼器的主要指標是它的編碼效率，即理論上能達到的碼率與實 際達到的碼率之比。一般來說，效率越高，編 譯碼器的代價也將越大。信源譯碼器的作用是把信道譯碼器輸出的代碼組變換成信宿所需 要的消息形式，它的作用相當于信源編碼器的 逆過程。2、信道編（譯）碼器信道編碼器的作用在信源編碼器輸出的代碼組上有目的地增加一 些監督碼元，使之具有檢錯或糾錯的能力（舉例）信道編碼的主要方法增大碼率或頻帶，即增大所需的信道容量，這 恰與信源編碼相反。信道譯碼器的作用具有檢錯或糾錯的功能，它能將落在其檢錯或 糾錯范圍內的錯傳碼元檢

20、出或糾正，以提高傳 輸消息的可靠性。3、密碼（編碼）學研究的內容如何隱蔽消息中的信息內容，使它在傳輸過程 中不被竊聽，提高通信系統的安全性；將明文 變換成密文，通常不需要增大信道容量，例如 在二進碼信息流上疊加一密鑰流；但也有些密 碼要求占用較大的信道容量。例如果發電報“奧運會”，當收到電報“X運 會”時，無法判斷所發電報是奧運會、亞運會、 大運會、農運會。-如果發電報“奧林匹克運動會”,當收到電報 “X林匹克運動會”時，很容易糾正錯誤，譯為 “奧林匹克運動會”說明信源的冗余度對于抵抗信道的干擾 是有益的問題：能否將三種碼（信源編碼、信道編碼 和密碼）合成一種碼進行編譯？Ixl提高有效性必須去掉信源符號中的冗余部分，此時信道誤 碼會使接收端不能恢復原來的信息，也就是必須相應提高 傳送的可靠性，不然會使通信質量下降；反之，為了可靠而采用信道編碼，往往需擴大碼率，也就 降低了有