2024/6/281/39學時：36參考教材：①《信息論與編碼》,沈連豐,科學出版社②《信息論—基礎理論與應用》,傅祖蕓,電子工業出版社③《糾錯碼—原理與方法》,王新梅,西安電子科技大學出版④《信息論與編碼》,陳運,電子工業出版社⑤“”DigitalModulationandCoding”,S.Wilson,PrenticeHall（“數字調制與編碼”影印版，電子工業出版社）⑥“ElementsofInformationTheory”,ThomasM.Cover,JoyA.Thomas.清華大學出版社影印版2024/6/282/39課程概況目的：了解學習信息論與編碼理論的作用與意義，對信息論與編碼理論的研究方法和成果有廣泛的基本認識，學會應用，為進一步研究打下基礎特點：以概念和物理意義為主，數學推導盡量放到課外作業：編寫相關內容的程序或閱讀近兩年內的國外期刊一兩篇，結合自己的理解，寫一份讀書報告，內容可自選。考試：2024/6/283/39課程基本內容一.信息論信息論的發展以及通信系統的模型離散信源熵，互信息以及冗余度二.信源編碼定長編碼，變長編碼以及最佳編碼離散信源的信息率失真函數R(D)限失真信源編碼定理以及常用信源編碼方法三.信道編碼信道模型和容量線性分組碼卷積碼網格編碼調制與級聯碼Turbo碼及其迭代譯碼原理2024/6/2841.信息論研究的中心問題和發展歷史2024/6/285/39信息論？信息論是通信的數學基礎，它以概率論、隨機過程、數理統計和代數學為主要數學工具，詳細研究了通信中的各個關鍵環節，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術提供了理論上的指導。信息論創立的標志:香農于1948年發表的論文：

AMathematicalTheoryofCommunication

（通信的數學理論）1948年以前，Nyquist、Hartley、Wiener做了許多有影響的工作。1948年，香農發表《通信的數學理論》，標志著信息論的誕生，同年發表《保密通信的信息理論》，用信息論的觀點對信息保密問題作了全面的論述。1956年，香農發表《噪聲信道的零差錯容量》。1959年，香農發表《保真度準則下的離散信源編碼定理》，提出信息率失真理論，為信源壓縮編碼奠定了理論基礎。1961年，香農發表《雙路通信系統》，開拓了多用戶信息理論（網絡信息論）的研究。2024/6/286/39信息論的研究范疇基礎信息論（shannon經典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論（工程信息論）以工程為背景，主要研究通信系統中各部分的最佳工作規律，與最佳設計原則，以工程上技術問題為主。研究內容除經典信息論外還包括噪聲理論，信號濾波和預測，統計檢測和估值理論，調制理論，信息處理理論和保密理論廣義信息論除上述內容外，還包括自然和社會領域有關信息的內容，如模式識別，計算機翻譯，心理學，遺傳學，神經生理學2024/6/287/39研究Shannon信息論的主要目的設計有效，可靠和安全的通信系統有效性是用盡可能短的時間和盡可能少的設備來傳輸一定信息量的消息信源編碼（數據壓縮）：無失真信源編碼和限失真信源編碼可靠性是要使信源發出的消息經過傳輸后，盡可能準確地、不失真地再現在接收端信道編碼（可靠傳輸）安全性加密編碼2024/6/288/39shannon信息論研究的主要問題1）什么是信息？如何度量信息？（信息熵）2）怎樣確定信源輸出信息的速率？（信息傳輸速率）3）對于一個信道，它傳輸信息的最高速率是多少？（信道容量）4）無失真信源編碼，所需要的最少碼符號數是多少？（香農第一定理：如果編碼后信源序列的信息傳輸速率不小于信源熵，那么一定存在一種無失真信源編碼方法；否則，不存在這種無失真信源編碼方）5）在有噪聲信道中，有沒有可能以接近信道容量的速率傳輸信息，而收端的錯誤概率幾乎為零？（香農第二定理：如果信息傳輸速率小于信道容量，那么總可以找到一種編碼方式，使得當編碼序列足夠長時傳輸差錯任意小；否則，不存在使差錯任意小的信道編碼方式）

6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數又是多少？（香農第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后每個信源符號的信息傳輸速率，而譯碼的平均失真度）2024/6/289/39香農和維納理論的區別香農理論：香農研究的對象是從信源到信宿之間的全過程，是收、發端聯合最優化問題，其重點是放在編碼。他指出，只要在傳輸前后對消息進行適當的編碼和譯碼，就能保證在干擾的存在下，最佳地傳送和準確或近似地再現消息。為此發展了信息測度理論、信道容量理論和編碼理論。維納理論：維納研究的重點是在接收端。研究一個信號如果在傳輸過程中被某些因素（如噪聲、非線性失真等）所干擾時，在接收端怎樣把它恢復、再現，從干擾中提取出來。在此基礎上，創立了最佳線性過濾理論（維納濾波器）、統計檢測與估計理論、噪聲理論。2024/6/2810/39信息論幾個方面的主要進展Ⅰ．信源編碼與數據壓縮Ⅱ．信道編碼與差錯控制技術Ⅲ．多用戶信息論與網絡通信Ⅳ．多媒體與信息論Ⅴ．信息論與密碼學和數據安全Ⅵ．信息論與概率統計Ⅶ．信息論與經濟學Ⅷ．信息論與計算復雜性Ⅸ．信息論與系統、控制、信號檢測和處理Ⅹ．量子信息論Ⅺ．Shannon的其它重要貢獻2024/6/2811/39

信源編碼與數據壓縮理論的進展[Kieffer1993]無擾信源編碼的誕生(1948,C.E.Shannon)。Huffman算法的發現(1952,D.A.Huffman)。建立Shannon-McMillan定理(1953,B.McMillan)。發現Lloyd算法(1957,S.P.Lloyd,1982年發表)。率失真理論系統化(1959,C.E.Shannon)。KolmogorovComplexity概念誕生(1964,A.N.Kolmogorov)。通用信源編碼理論系統化(1973,L.D.Davission)。多端信源編碼理論誕生(1973,D.Slepian和J.K.Wolf)。第一個實際的算術編碼方案(1976,J.Rissannen和R.Pasco1976博士論文)。發現Lempel-Ziv碼(1977,J.Ziv和A.Lempel)。2024/6/2815/39多用戶信息論與網絡通信理論的進展

(1)理論基礎。兩路通信系統(Shannon1961)。(2)理論進展。Cover,Schalkwijk,Van.derMeulen,Alswede,Slepian,Wolf,WynerLiao(UniverstyofHawaii),Han等。(3)技術成就。CDMA(Virerbi,Qaulecom)的技術問題：聯合檢測和譯碼、均衡、干擾抵消、速率分拆(ratesplitting)、功率檢測控制等(Verdu,ShamaiandRimoldi)。STC(Spacetimecode)。線性網絡編碼聯合編碼技術2024/6/2816/39技術進展：通向Shannon極限的途徑

Shannon極限：白高斯信道下為傳送1比特信息所需的最小Eb/N0值，理論上如表。在誤碼率為10－5時，未編碼二元信號最佳檢測下所需的Eb/N0值為9.6dB。Shannon極限指出,采用編碼可以得到9～10dB的功率增益。表白高斯信道的Shannon極限輸入輸出速率最小Eb/N0值二元信號軟判決→0—1.6dB

二元信號軟判決0.50.2dB

二元信號硬判決0.51.8dB

過去50年中Shannon信息論已取得巨大、豐富的理論和技術成果，在未來的50年中，Shannon信息論將繼續繁榮還是趨向衰落和消亡?

在過去50年中也曾幾次出現過類似的爭論。如果信息論繼續推動技術的發展，則在未來的幾十年中就會繼續繁榮下去，否則會象近30年來的物理學所經受的蕭條。當前信息論對無線通信的重要作用為信息論的發展提供了契機，無線頻帶資源的匱乏更趨嚴重，高效和高可靠性通信愈加依靠信息論的發展，同時需要更多的信息論人才。

Internet通信、移動通信、光存儲、生物等領域將向信息論提出新的挑戰。未來的趨勢2024/6/2818/39香農信息論的深化研究方向香農信息論：網絡信息理論和多重相關信源編碼理論的發展和應用；通信網的一般信息理論研究；信息率失真理論的發展及在數據壓縮和圖像處理中的應用；信息論在大規模集成電路中的應用；糾錯碼理論：在工程方面應用最優編碼方法研究。維納信息論：量子檢測和估計理論非參數檢測和估計理論，非線性檢測與估計理論的研究。信源，信道和安全編碼之間的結合聯合信源信道編碼聯合安全信道編碼2024/6/2819/39如果實際信源或信道符合所采用的概率模型描述，這種方法是有效的，否則只能是近似的，甚至根本無效。語言的熵描述是非常困難的，其是非平穩的，除了確定的信息，還有模糊的信息，比如“韻味”，“意境”不同的接收者對同一個東西得到的信息可能是不同的Shannon信息論適合于能夠定量描述的信息，對難于定量描述的信息則無能為力。Shannon信息論的局限性Shannon信息論在研究方法上的啟示1.理論與實踐的關系。五十年信息論發展的歷史證明，理論必須結合實踐才有旺盛的生命力。實踐可以幫助人們正確地提出問題和猜想；實踐需要理論的指導才能建立更好的系統，才能迅速向前發展。理論用于不斷變化的實踐過程中，又常常提示和激勵我們探索新的理論問題，并以新的方法重新檢驗已有的理論結論。2．簡化模型。“簡單模型勝于繁瑣的現象羅列”，“簡單化才能顯現出事物的本質，它表現了人的洞察力”－Gallager

。3．基礎的重要性。切莫近視、急功近利。2024/6/2821/39Shannon對信息論的貢獻2001年2月24日，Shannon于馬薩諸塞州病逝。著名信息論和編碼學者Dr.RichardBlahut在Shannon塑像落成典禮上這樣評價Shannon：“在我看來，兩三百年之后，當人們回過頭來看我們這個時代的時候，他們可能不會記得誰曾是美國的總統。他們也不會記得誰曾是影星或搖滾歌星。但是他們會記得Shannon的名字。學校里仍然會講授信息論。”2024/6/2822/39Shannon信息論的應用范圍2024/6/2823/39AWGN:AdditiveWhiteGaussianNoiseLDPC:Low-densityParity-checkCodesRecentprogressinFECsforopticalcommunicationsystems.

2024/6/28242.通信系統的模型2024/6/2825/39通信系統的通用模型信源編碼器信道譯碼器信宿干擾源

系統的模型不是不變的，可根據實際情況而定，可將圖中的編、譯碼器作更細致的劃分，目的是使信源編碼的研究主要和信源及信宿發生關系，此時信道編、譯碼器和信道的組合可等效為一個離散無擾信道。而信道編碼的研究可和信源、信宿無關，而只與信道有關，此時信源和信源編碼器組合成一個對于信道編碼器來說的等效離散源，它的輸出可近似地看成是無記憶、等概的數字序列。這種劃分可使信源編碼集中于解決傳輸有效性問題，而信道編碼則集中于解決抗信道干擾和失真問題，即解決傳輸可靠性問題，從而簡化了研究。2024/6/2826/39信道等效離散信道信源信源編碼器糾錯編碼器調制器干擾源信源譯碼器糾錯譯碼器信宿解調器等效信宿信道編碼器信道譯碼器等效離散信源

細化的通信系統模型等效離散信道

這樣劃分是否會對發揮通信系統的傳信潛力有根本性的限制呢？研究表明，在很一般的條件下，對大多數理論結果沒有太大限制。但是這樣劃分也不一定總是合理的，有時將信源編碼和信道編碼統一考慮進行設計可能更有效些，有人已進行了這方面的探討，如信源和信道聯合編碼、加密與糾錯聯合設計的研究。2024/6/2827/39各部件功能信源產生消息的源，消息可以是文字，語言，圖像。可以離散，可以連續。隨機發生。研究的主要問題是消息的統計特性和產生信息的速率編碼器信源編碼器：對信源輸出進行變換（消去冗余，壓縮），提高信息傳輸的有效性信道編碼器：對信源編碼輸出變換（加入冗余），提高抗干擾能力，提高信息傳輸的可靠性調制器：將信道編碼輸出變成適合信道傳輸的方式2024/6/2828/39各部件功能信道信號從發端傳到收端的介質信道的中心問題是研究信道的統計特性和傳信能力，即信道容量干擾源系